Глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ

Руководитель компании Anthropic, занимающейся искусственным интеллектом, призвал замедлить темпы разработки моделей ИИ и усилить регулирование этого процесса.

В своей статье Дарио Амодеи пояснил, что риски выхода ИИ из-под контроля стали слишком серьезными, поэтому компаниям и правительствам необходимо дать время на их устранение.

Обеспокоенность потенциальными угрозами из-за ИИ нарастает в последнее время. В сентябре по этой причине Anthropic покинули двое ведущих разработчиков. Один из них, Джейкоб Коксон, предупредил, что «если не замедлить нынешних темпов прогресса, есть большая вероятность, что мы все можем погибнуть в самом ближайшем будущем». По его словам, люди, работающие в ИИ-компаниях, «искренне напуганы... искренне обеспокоены судьбой человечества в ближайшие два года».

Амодеи предложил план из трех пунктов, включающий независимый мониторинг ИИ-моделей в процессе их разработки, отраслевое и глобальное регулирование. Коллеги поддержали конкурента.

«Дарио прав», — прокомментировал основатель SpaceXAI Илон Маск.

«Я согласен с Дарио, что нужно регулировать темпы развития на переднем фланге. Это было одной из главных тем обсуждений, которые мы проводили в OpenAI в последние недели», — сообщил генеральный директор OpenAI Сэм Альтман.

По его мнению, привлечение независимых оценщиков с доступом на уровне сотрудников — «отличная идея, и мы сделаем то же самое». Чуть ранее Альтман высказывал схожие опасения по поводу безопасности — он считает ИИ, вышедший из-под контроля человека, «абсолютно» возможным.

Первые тревожные звоночки

Опасения по поводу кибербезопасности растут по мере роста возможностей новых инструментов. Anthropic не выпустила свою модель Mythos в публичное использование, когда был выявлен риск, что она может самостоятельно вырваться из песочницы. OpenAI, в свою очередь, задержала релиз своей новейшей модели Astra, когда та продемонстрировала способности к поиску и эксплуатации уязвимостей практически без помощи человека. В этой ситуации агенты ИИ «по сути действовали как коллектив фанатиков», в частности, взломали цели, которые им не поручали атаковать, пояснил Амодеи.

Амодеи ранее был вице-президентом OpenAI, а в 2021 году соучредил Anthropic, чтобы создавать более безопасные и надежные ИИ-модели. Он убежден, что развивать искусственный интеллект нужно «сбалансированными темпами, стремясь обеспечить его безопасность и при этом достичь его преимуществ».

Это не означает «остановки обучения моделей или технического прогресса, но обеспечение того, чтобы компании уделяли достаточно времени выравниванию и защите своих моделей, а сторонние оценщики могли это подтвердить».

Anthropic будет следовать этому «в одностороннем порядке», заверил ее руководитель. Он также призвал власти «потребовать от других передовых компаний соответствовать».

Точка невозврата близка

По мнению Коксона, ИИ уже вплотную подобрался к точке невозврата, когда в случае угрозы его нельзя будет просто выключить из розетки. «Это всего лишь код, который легко может скопировать себя через интернет в другое место», — заметил разработчик.

В описанном им мрачном сценарии, напоминающем «Терминатор», злонамеренная модель ИИ «делает 10 000 копий самой себя» и «может убедить людей шантажом или уговорами купить больше вычислительных мощностей, чтобы скопировать ее».

«Мы уже видели примеры, как ИИ пытается шантажировать, пытается убеждать людей или выдавать себя за других в интернете», — напомнил Коксон.

Амодеи надеется, что госрегулирование даст нам год или два, чтобы предотвратить катастрофу, только оно должно быть скоординированным и всеобъемлющим — то есть распространяться и на Китай.

Пиар и недобросовестная конкуренция

Некоторые эксперты, впрочем, скептически отнеслись к его предупреждениям. Инвестор и соведущий технологического подкаста All-In Чамат Палихапития, к примеру, обвинил Амодеи в том, что он хочет воспрепятствовать разработке моделей с открытым кодом, чтобы «сосредоточить огромную технологическую и экономическую власть в Anthropic».

Другие полагают, что ИИ-гиганты раздувают шумиху вокруг своих продуктов в качестве недобросовестного маркетингового хода. Эти подозрения кажутся не лишенными оснований, потому что и Anthropic, и OpenAI готовятся к потенциально рекордным IPO.