Разработано аварийное обезвреживание вышедших из-под контроля агентов ИИ
OpenAI объявила о запуске системы Control Room, которая останавливает вывод моделей искусственного интеллекта в случае выявления угроз безопасности. Решение развернуто пока на исследовательской инфраструктуре компании.
Эта «диспетчерская» настроена так, чтобы заблокировать работу агентов ИИ, если за ними будут замечены какие-то неправомерные или вредоносные действия. Отключение происходит в течение 35 секунд после решения — автоматического или ручного — о вмешательстве. Такой таймаут обусловлен кэшем авторизации, и в перспективе он будет сокращен до нуля. Control Room спроектирована так, чтобы в случае ее выхода из строя — случайном или злонамеренном — ИИ также блокировался.
Для своей работы Control Room анализирует три показателя:
- рабочая нагрузка — выполняемая задача, например, эксперимент по обучению с подкреплением (проверяется на предмет безопасности);
- механизм вывода — собственно «движок» ИИ, который «крутится» на GPU;
- Control Room отслеживает разрешение на вывод — при его отсутствии генерация результатов прекращается.
Новая система дополнит уже имеющиеся — например монитор, забивший тревогу при недавней попытке ИИ воспользоваться ошибкой конфигурации внутреннего DNS-сервера, чтобы выйти за пределы песочницы. В том случае деятельность агента была остановлена вручную через два часа после сигнала — что указало на необходимость совершенствования инструментария безопасности.
«Control Room — лишь часть нашего целостного подхода к безопасному обучению и развертыванию передовых моделей. В ближайшие месяцы мы продолжим укреплять и расширять систему параллельно с инвестициями в мониторинг некоректного поведения и нарушений безопасности. Если вы хотите помочь в создании систем для безопасной и защищенной разработки и развертывания AGI — мы набираем сотрудников!» — заключается в сообщении OpenAI.
Таким образом, если еще недавно считалось, что ИИ отнимает рабочие места у людей, то теперь, напротив, возникает необходимость в человеческих ресурсах для защиты от его возможного вреда. Особенно показательным в этом контексте выглядит мнение самого «крестного отца» искусственного интеллекта Джеффри Хинтона, допустившего, что его зря разрабатывали.
