Anthropic научила ИИ «видеть сны» и исправлять ошибки в собственной памяти
Компания Anthropic рассказала о новом подходе к организации памяти искусственного интеллекта, который назвала «сновидениями» (dreaming). Когда Claude не занят выполнением задач, он может возвращаться к предыдущим диалогам, проверять сохраненные сведения, исправлять неточности и объединять накопленную информацию в структурированную базу знаний.
Название отсылает к процессам, которые происходят в человеческом мозге во время сна. Однако ИИ не видит сны в привычном понимании. Речь идет о специальной обработке прошлых взаимодействий в периоды между рабочими сессиями. Это позволяет модели не просто хранить записи, а пересматривать их и решать, что действительно пригодится в будущем.
Лучше запоминать меньше, но важнее
Anthropic проверила новый подход на игре Pokémon Red. Claude нужно было исследовать игровой мир, находить предметы и получать награды за прохождение испытаний. Для этого модель сохраняла полезные сведения в отдельных файлах памяти.
Исследователи сравнили два варианта Claude после примерно 10 тысяч игровых шагов. Sonnet 3.7 записывала практически все происходящее. Ее архив разросся до 413 файлов в 225 папках и почти 978 тысяч символов. При этом модель получила только одну награду.
Claude Fable 5 действовала иначе. Вместо подробной записи каждого события она сохранила около 43 тысяч символов в десяти файлах, сосредоточившись на стратегиях, маршрутах и выводах из предыдущих ошибок. В результате модель получила четыре награды.
Этот эксперимент показал, что большой объем памяти не обязательно помогает ИИ лучше справляться с задачами. Важнее сохранять сведения, которые нельзя быстро получить из текущей ситуации, например проверенные стратегии и полезные правила.
Как «сновидения» исправляют ошибки
В другом эксперименте Claude неправильно записала расположение покецентра возле горы Мун. Из-за этой ошибки модель неверно определяла свое положение на карте, несколько раз попадала на односторонний уступ и возвращалась к уже пройденному маршруту.
Во время «сновидения» Claude сравнила сохраненные записи с историей предыдущей игровой сессии, обнаружила противоречие и исправила координаты объекта в памяти. После этого она повторно прошла через пещеру и добралась до города Церулиан. Версия с неисправленной записью так и не смогла завершить этот участок игры.
ИИ собрал базу знаний из 350 тысяч документов
Еще одно испытание проверяло, сможет ли Claude самостоятельно создавать связанную систему знаний из большого массива информации. Для этого Anthropic использовала около 350 тысяч внутренних документов компании Stainless общим объемом примерно 420 млн токенов.
За 128 последовательных сессий ИИ создавал и обновлял подобие энциклопедии — набор страниц со ссылками на связанные материалы. Точность ответов на 25 контрольных вопросов при использовании только этой базы выросла с 13 до 48%.
В отдельном испытании, где требовалось сопоставлять сведения из нескольких документов о слиянии компаний, результат составил 87% при использовании такой базы против 73% при обычном поиске по файлам.
У памяти есть свои ограничения
Anthropic отмечает, что постоянная проверка и обновление записей требуют дополнительных вычислительных ресурсов. Кроме того, ошибочная информация может попасть в контекст следующих разговоров и повлиять на новые ответы.
Поэтому системе приходится выбирать, какие сведения сохранять, какие перепроверять, а какие убирать из быстрого доступа. Например, наиболее важные заметки можно загружать в начало следующей сессии, а остальные оставлять в файлах, доступных по поиску.
Исследователи считают, что такая организация памяти поможет ИИ надежнее справляться с продолжительными и многоэтапными задачами, в которых важна информация из предыдущих взаимодействий. При этом сам подход пока остается предметом экспериментов, а его эффективность зависит от того, насколько грамотно модель умеет оценивать достоверность и полезность собственных записей.
