ChatGPT проиграл в шахматы программе 1977 года

Современный искусственный интеллект от OpenAI ChatGPT столкнулся с неожиданным и сокрушительным поражением от своего предка — шахматной программы 1977 года для консоли Atari 2600. В эксперименте, который должен был стать «легкой прогулкой по ретро-переулкам», ChatGPT не смог одолеть простейший движок, работающий на процессоре с частотой 1.19 МГц и просчитывающий всего на 1-2 хода вперед. Об этом сообщил портал Tom's Hardware.

Событие, ставшее вирусным, было задокументировано IT-архитектором Робертом-младшим Карузо (Robert Jr. Caruso) в его профиле LinkedIn.

Как проходил поединок

Все началось с разговора Карузо с ChatGPT об истории искусственного интеллекта в шахматах. В итоге чат-бот сам вызвался сыграть против шахматной программы для Atari 2600, чтобы проверить, «как быстро и легко он сможет победить в игре», созданную десятилетия назад.

Однако реальность оказалась жестокой. На протяжении 90-минутного матча ChatGPT продемонстрировал полное отсутствие понимания игры:

• ИИ принимал ладьи за слонов, несмотря на предоставленную ему схему доски.

• пропускал элементарные угрозы,  чат-бот не замечал очевидные «вилки» пешками.

• ChatGPT постоянно забывал, где находятся фигуры, и Карузо приходилось «несколько раз за ход» поправлять его. Сначала ИИ винил в этом «слишком абстрактные иконки Atari», но даже после перехода на стандартную шахматную нотацию его игра не улучшилась.

• по словам автора эксперимента, ляпы чат-бота были настолько серьезными, что «его бы высмеяли в шахматном клубе для третьеклассников».

В это время простая программа с Atari 2600, не обладающая ни нейросетями, ни языковыми моделями, методично и упрямо делала свое дело, используя лишь «грубый перебор вариантов на доске».

«Забавно, что ChatGPT продолжала "обещать, что станет лучше", если мы просто начнем сначала. В отличие от него у Atari нет никакой языковой модели, никакого блеска, просто перебор вариантов на доске и упрямство 1977 года»

В конце концов, даже ChatGPT признал свое поражение и сдался.

Почему так произошло и что это значит?

Этот забавный случай — яркая демонстрация фундаментального различия между разными типами искусственного интеллекта.

• ChatGPT — это большая языковая модель (LLM). Его основная задача — предсказывать следующее слово в тексте на основе огромного массива данных. Он может «говорить» о шахматах, описывать правила и даже анализировать партии, но он не «играет» в них в логическом смысле. У него нет встроенной стратегической логики или «понимания» доски. Он имитирует игру, а не просчитывает ее.

• Шахматный движок Atari — это специализированная программа. Несмотря на свою примитивность (всего 128 байт оперативной памяти), он создан для одной-единственной цели: оценивать позиции на доске и находить лучший ход в рамках своих ограниченных вычислительных мощностей. Это чистая, хоть и простая, логика.

Автор эксперимента отмечат, что этот поединок показывает, что универсальные ИИ, такие как ChatGPT, не являются универсальными решателями задач. Они сильны в языке и творчестве, но могут полностью провалиться в узкоспециализированных логических задачах, где даже простейшая программа, созданная для этой цели, окажется на голову выше.