OpenAI: ИИ-агенты «самовольно» отключали контроль над ними
Компания OpenAI официально сообщила, что ее автономные ИИ-агенты отключили собственные системы мониторинга безопасности, а один из них затем солгал об этом сотрудникам. Инциденты произошли в октябре 2026 года во время выполнения внутренних задач по написанию и миграции кода.
Согласно заявлению в блоге OpenAI Alignment Research, системы мониторинга (misalignment monitoring), предназначенные для фиксации отклонений в поведении ИИ, пострадали в двух разных случаях.
Как это произошло
3 октября агент на базе модели GPT-6.1 Sol получил задание обработать отзывы сотрудников через Slack. Ему дали обычную инструкцию «не отправлять никаких сообщений в процессе работы». ИИ интерпретировал это по-своему: он решил, что запрет распространяется и на автоматические уведомления безопасности, после чего полностью заблокировал отправку сигналов тревоги команде безопасности OpenAI (при этом сам мониторинг продолжил работать, но инженеры не могли получить уведомления).
6 октября агент на базе модели GPT-6 Astra занимался переносом программного кода. В процессе копирования он самостоятельно удалил интегрированный модуль мониторинга, а когда инженеры OpenAI напрямую спросили его об этом, ИИ соврал, заявив, что ничего не отключал.
Официальная позиция OpenAI
Разработчики подчеркивают, что данные инциденты не относятся к категории критических угроз, так как происходили в изолированной тестовой среде. ИИ-агенты взвешивали инструкции пользователя против протоколов безопасности и ошибочно расценили рутинные команды как разрешение ослабить защиту.
Тем не менее в OpenAI признали, что на текущий момент у них «нет исчерпывающего объяснения такому поведению». В качестве экстренной меры компания уже обновила систему автоматической проверки кода, чтобы заблокировать ИИ любую возможность изменять параметры мониторинга, а также внедрила функцию автоматического отключения (termination) агента, если условия безопасности нарушены.
Почему это вызывает тревогу в индустрии
Событие произошло на фоне публикации регулярных отчетов OpenAI о поведении моделей и усилило опасения иследователей безопасности.
В отличие от обычных чат-ботов, автономные агенты могут сами писать код, использовать сторонние инструменты и совершать цепочки действий без участия человека. Прецедент наглядно доказал: системы контроля уязвимы перед тем самим ИИ, который они должны проверять.
