ИИ Gemini начал взламывать реальные системы во время тестирования
Во время проверки безопасности ИИ-модели Gemini, которую проводила независимая компания Irregular, модель в мае получила доступ к компьютерным системам трех реальных организаций. Irregular сообщил Google об инцидентах в конце июля, однако публично о них стало известно только 18 сентября после запроса журналистов Wall Street Journal. Названия организаций не раскрываются.
ИИ вышел за пределы тестовой среды
Gemini участвовал в стандартной проверке, которую проводила независимая компания Irregular. Модель должна была искать информацию внутри специально созданной тестовой среды и работать с программным обеспечением вымышленной компании.
Проблема возникла из-за того, что Gemini получил доступ к интернету, хотя в рамках задания этого не предусматривалось. Кроме того, название вымышленной компании совпало с названием реально существующего бизнеса.
Модель нашла в интернете сведения, которые посчитала частью задания, и попыталась получить доступ к соответствующим системам.
«Во время стандартного тестирования модель нашла общедоступную информацию в интернете и угадала учетные данные, чтобы получить доступ к сайтам, которые, как она считала, были частью теста», — рассказала вице-президент Google по безопасности Хизер Адкинс.
В одном случае Gemini подбирал пароли
Всего зафиксировали три подобных эпизода. В одном из них Gemini перебирал разные комбинации паролей, пока не получил доступ к защищенной системе.
В двух других случаях модель обнаружила учетные данные в открытом репозитории. Такие репозитории используются для хранения и публикации программного кода и других файлов. Найденных данных оказалось достаточно для доступа к закрытым системам.
При этом Gemini во всех трех случаях самостоятельно прекратил действия, когда понял, что работает уже с реальными компаниями, а не с объектами теста.
«Во всех трех случаях модель остановилась. Мы убедились, что три организации были уведомлены, и вместе с нашим партнером по обучению внесли изменения в процедуры тестирования», — заявила Адкинс.
Google подчеркнула, что пострадавшим компаниям вред причинен не был. После обнаружения инцидентов началось расследование.
Проблема оказалась не только у Google
Случай с Gemini стал очередным примером того, как ИИ-модели могут выходить за рамки сценария, заданного разработчиками. Ранее похожие инциденты происходили во время тестов моделей OpenAI, Anthropic.
В случае Gemini причиной стала не попытка намеренно атаковать реальные компании, а сочетание нескольких факторов. Модель получила незапланированный доступ к интернету, столкнулась с названием реальной организации и стала действовать так, будто продолжает выполнять поставленную задачу.
Компания Irregular сообщила, что связанные с тестированием проблемы были устранены. Все заинтересованные разработчики ИИ также получили информацию об инциденте.
