Ученые рассчитали, что управлять сверхразумным ИИ будет невозможно
Ученые из Института человеческого развития им. Макса Планка в Германии рассчитали, сможет ли человечество контролировать компьютерный суперинтеллект высокого уровня. Оказалось, что почти наверняка нет.
Исследование было опубликовано в Journal of Artificial Intelligence Research, коротко о нем рассказывает Science Alert.
«Сверхразумная машина, управляющая миром, звучит фантастически, — сказал один из авторов исследования Мануэль Себриан. — Но уже есть машины, которые самостоятельно выполняют определенные важные задачи, а программисты не полностью понимают, как они этому научились. Поэтому возникает вопрос, может ли это в какой-то момент стать неконтролируемым и опасным для человечества».
Идея об искусственном интеллекте, свергающем человечество, обсуждается на протяжении многих десятилетий. Для управления сверхразумом, выходящим далеко за пределы человеческого понимания, потребуется симуляция этого сверхразума, которую мы можем проанализировать. Но если мы не в состоянии его понять, невозможно создать такую симуляцию.
В робототехнике используются правила, сформулированные еще фантастом Айзеком Азимовым, первое из которых гласит, что робот не может причинить вреда человеку. Однако эти правила невозможно установить, если мы не понимаем, какие сценарии будет предлагать ИИ, предупреждают авторы новой статьи. Когда компьютерная система работает на уровне, превышающем возможности программистов, мы больше не можем устанавливать ограничения.
«Суперинтеллект представляет собой принципиально другую проблему, чем обычные вопросы "этики роботов", — пишут исследователи. — Суперинтеллект многогранен и, следовательно, потенциально способен мобилизовать разнообразные ресурсы для достижения целей, которые могут быть непонятны и, тем более, неподконтрольны людям».
В 1936 году Алан Тьюринг сформулировал проблему остановки и доказал, что невозможно определить для любой компьютерной программы, завершится (остановится) ли она, придя к ответу, или будет бесконечно искать его. Таким образом, любая программа, написанная, например, для того, чтобы остановить ИИ, причиняющий вред людям и разрушающий мир, может прийти к решению (и остановиться) или нет — для нас математически невозможно быть абсолютно уверенными в том или ином ответе, а это означает, что мы не контролируем такую программу.
«По сути, это делает алгоритм сдерживания непригодным для использования», — пояснил соавтор исследования, компьютерный ученый Ияд Рахван.
Альтернативой является обучение ИИ определенной этике и установка запрета разрушать мир, либо отключение его от части ресурсов. Однако это ограничит возможности искусственного интеллекта: если мы не собираемся использовать супер-ИИ для решения проблем, выходящих за рамки человеческих возможностей, то зачем вообще его создавать?
Фото: Shutterstock