ИИ провалил корректно проведенный тест Тьюринга

Участившиеся в последнее время победные реляции о прохождении искусственным интеллектом теста Тьюринга объясняются тем, что никто его правильно не проводил, полагают ученые из Университета Кентербери. Они поставили эксперимент именно так, как задумано автором – и получили абсолютно не сенсационные результаты, которыми поделились на страницах Philosophy of Science.

Знаменитый тест предложен британским математиком Аланом Тьюрингом в 1950 году как способ оценить, может ли машина демонстрировать человекоподобный интеллект. В самом известном его формате человек общается одновременно с другим человеком и с машиной, не зная, кто есть кто, и пытается определить, где машина.

Исследователи изучили работы Тьюринга с 1948 по 1952 год, а также ранние комментарии и исторические источники, чтобы определить, как должна была работать игра в имитацию.

«Черты, которые обычно приписывают тесту Тьюринга, — включая пятиминутный лимит времени и идею, что машина проходит тест, если обманывает 30% судей, — не задумывались Тьюрингом как правила прохождения теста. Он представлял себе игру в имитацию с тремя участниками – спрашивающим, человеком и машиной, с открытыми вопросами и без фиксированного ограничения по времени. Это существенно меняет правила игры – а значит, и результаты теста», – говорит профессор Кристоф Бартнек, руководивший исследованием.

Авторы провели эксперимент с GPT-4-Turbo от OpenAI. Участники беседовали и с моделью, и с человеком до тех пор, пока не чувствовали уверенности, чтобы решить, кто из них машина.

Из 37 участников 36 правильно определили ИИ — уровень распознавания 97%.

33 испытуемым (89%) на принятие решения потребовалось больше пяти минут. Средняя беседа длилась 14 минут, а самая долгая — 46 минут. Таким образом, работа ставит под сомнение, дают ли короткие тесты людям достаточно времени, чтобы содержательно проверить систему ИИ.

«Открытый формат Тьюринга дает спрашивающим возможность проверить, действительно ли система понимает тему, а не просто выдает убедительные ответы. Если это учесть, мы видим, что ни одна большая языковая модель пока не показала, что проходит тест, следующий замыслу оригинальной работы Тьюринга», – резюмировал Бартнек.

Исследователи подчеркивают, что их выводы не означают, что все нынешние или будущие модели ИИ провалят тест. Более новые LLM, чем GPT-4-Turbo, могут показать другие результаты.