Риск гибели человечества от ИИ оценили более чем в 10%
Исследователь ИИ Джейкоб Коксон ушел из компании Anthropic, заявив, что гонка разработчиков за все более мощными системами создает серьезный риск для человечества. О его уходе 9 сентября сообщили TechCrunch и другие американские СМИ. Коксон ранее работал в OpenAI, а последние три года занимался обучением ИИ-моделей.
По его словам, Anthropic и OpenAI движутся к созданию самосовершенствующегося сверхразума быстрее, чем успевают решить проблемы безопасности.
«Обе компании действуют безответственно. Они мчатся прямо к самосовершенствующемуся сверхразуму и играют с нашими жизнями», — написал Коксон.
Чего опасается исследователь
Под сверхразумом в данном случае понимается гипотетическая система, которая сможет превосходить людей практически во всех интеллектуальных задачах. Особую тревогу у Коксона вызывает возможность, что ИИ научится самостоятельно улучшать свои способности.
В таком случае развитие технологий может ускориться настолько, что людям будет сложнее контролировать происходящее. Коксон утверждает, что специалисты внутри индустрии действительно допускают крайне тяжелый сценарий.
«Люди, которые создают ИИ, всерьез считают, что он может убить всех нас до конца десятилетия», — заявил исследователь. При этом он подчеркнул, что речь идет не о сегодняшних моделях, а о возможном появлении значительно более мощных систем.
Коксон ранее работал в OpenAI, а затем перешел в Anthropic, которую считал более осторожной в вопросах безопасности. В итоге он решил покинуть и эту компанию. По данным Axios, исследователь ушел за два месяца до того, как ему должны были передать очередную часть акций компании.
В Anthropic допустили катастрофический сценарий
Публичное заявление Коксона поддержал Эван Хьюбингер, руководитель направления Alignment Science в Anthropic. Это направление занимается тем, чтобы поведение ИИ соответствовало целям и интересам людей.
«Я лично считаю, что вероятность гибели человечества в ближайшее десятилетие составляет более 10%», — написал Хьюбингер.
При этом он уточнил, что считает непосредственный риск от существующих моделей низким. Его беспокоит будущий сверхразум, который сможет самостоятельно совершенствовать себя. По словам исследователя, у Anthropic пока нет надежного способа решить проблему согласования целей такого ИИ с человеческими интересами.
Еще один сотрудник Anthropic, Сэмюэл Маркс, также заявил, что разработчики ИИ допускают возможность катастрофического сценария уже в ближайшие годы. Он отдельно подчеркнул, что высказал личную позицию, а не мнение компании.
Заявления исследователей вызвали новый спор о том, насколько быстро следует развивать наиболее мощные системы ИИ и какие ограничения необходимы до появления сверхразума. При этом ни Коксон, ни его коллеги не утверждают, что подобный сценарий неизбежен.
