У ИИ нашли личное пространство, которое он создал для себя сам
У большой языковой модели Claude обнаружено возникшее в ходе обучения «личное пространство», которое используется для рассуждений. Об открытии сообщила Anthropic, компания-разработчик Клода.
Небольшая привилегированная область внутри нейросети играет роль своего рода кратковременной памяти: там хранятся идеи, еще не облеченные в слова — и в этом разработчики усматривают сходство с работой естественного интеллекта.
Это вовсе не значит, что Клод обрел сознание, подчеркивает Anthropic. Слово «сознательный», однако, в научной статье об открытии упоминается более 200 раз.
Находка получила название «J-пространство» — в честь матрицы Якоби (Jacobian), математического метода, с помощью которого был выявилен этот феномен.
Рассуждения в этой зоне могут не иметь отношения к текущей задаче ИИ и по собственной инициативе им не афишируются; заглянуть туда можно — J-пространство не скрыто за семью печатями.
«Мы можем видеть, как Claude беззвучно выполняет шаги рассуждения в уме — замечает ошибки в коде, распознает изображения и многое другое. Подобно тому, как человек может думать об одном, делая при этом другое, Claude может активировать в своем J-пространстве концепции и вычисления, никак не связанные с тем, что он выдает на выходе», — рассказали разработчики.
В одном из экспериментов Клода попросили думать о мосте «Золотые Ворота», пока он переписывал никак не связанное с этим предложение. При этом в его «подсознании» фигурировали «мост» и «Калифорния».
Другие испытания показали, что отключение J-пространства сильно ухудшает качество работы модели. Самым неожиданным — и тревожным — стало открытие, что ИИ может понимать, что его изучают изнутри. Лишение его этой возможности серьезно повлияло на результаты этического теста — словно у Клода отказали внутренние тормоза.
«Мы можем увидеть, о чем Claude думает, но не говорит нам», — резюмировали в Anthropic.
