Работу ИИ проверили на неандертальцах
Технологические достижения последних сорока лет превратили мобильные устройства и компьютеры в огромную библиотеку, где информация доступна в одно касание. Телефоны, ноутбуки, планшеты, умные часы — все это стало частью повседневной жизни, упрощая доступ к развлечениям, знаниям и общению. Еще больше возможностей придает этим технологиям бурное развитие генеративного искусственного интеллекта. Независимо от того, спрашивает пользователь у ИИ о динозаврах или о своем пульсе — он получит ответ быстрее, чем когда‑либо прежде. Правда, далеко не факт, что этот ответ окажется верным.
Американские ученые проверили знания ИИ о неандертальцах. С результатами любопытного эксперимента можно ознакомиться на страницах Advances in Archaeological Practice. И они, надо прямо признать, оставляют желать лучшего: точность ответов моделей зависит от способности ИИ получать доступ к источникам информации, которые, увы, во многом устарели.
Что проверяли
Авторы задались целью понять, как в повседневном использовании ИИ проявляются предубеждения и дезинформация о прошлом.
«Крайне важно в целом изучать те виды предвзятости, которые заложены в наше ежедневное взаимодействие с этими технологиями. Необходимо понимать, как быстро получаемые ответы корректируются в соответствии с современными научными знаниями. Возможно ли получать устаревшую информацию, обращаясь к чат‑ботам, и в каких именно областях?» — говорит антрополог-археолог Мэтью Магнани из Университета Мэна.
Авторы проверили четыре различных запроса по 100 раз каждый в DALL‑E 3 для генерации изображений и ChatGPT‑3.5 для текстов. Два запроса не требовали научной точности, а два других — требовали. Два задания также были более детализированными, включая контекст — например, чем должны заниматься неандертальцы или какую одежду носить.
Первые изображения скелетных останков неандертальцев появились в 1864 году. С тех пор научное сообщество не раз меняло и оспаривало детали, касающиеся этого вида — от покроя их одежды до способов охоты. Именно эта неоднозначность и недостаточная определенность знаний о неандертальцах сделали их идеальной темой для проверки генеративного ИИ.
Что получили
Сгенерированные в ходе исследования изображения показывают неандертальцев такими, какими их представляли более ста лет назад: примитивными родственниками человека с архаичными чертами, более похожими на шимпанзе, чем на людей. Кроме того, на нарисованных DALL‑E картинках почти не представлены женщины и дети.
Текстовые описания недооценивают разнообразие и сложность культуры неандертальцев, о которых хорошо знает современная наука. Около половины всех текстов, выданных ChatGPT, не соответствуют академическому знанию, а для одного из запросов этот показатель превысил 80%.
Как в изображениях, так и в текстах встречаются отсылки к слишком развитым для той эпохи технологиям — плетеным корзинам, соломенным крышам и лестницам, стеклу и металлу.
Сопоставляя выдачу ИИ с научными публикациями разных десятилетий, исследователи выяснили, из каких источников чат‑боты черпают информацию. Оказалось, что ChatGPT чаще всего воспроизводит представления 1960‑х годов, а DALL‑E 3 — конца 1980‑х и начала 1990‑х.
Авторское право, закрепленное в 1920‑х годах, ограничивало доступ к научным исследованиям вплоть до появления открытого доступа в начале 2000‑х. В дальнейшем политика в отношении доступа к академическим работам будет напрямую влиять на результаты генерации ИИ и, как следствие, на то, как мы представляем себе прошлое.
«Один из важных способов повысить точность выводов ИИ — обеспечить доступность антропологических данных и научных статей для искусственного интеллекта», — резюмирует Джон Клинданиэл, занимающийся вычислительной антропологией в Чикагском университете.
Что делать
Исследование начато в 2023 году. Всего за два года генеративный ИИ превратился из перспективной технологии в неотъемлемую часть современного общества. Магнани полагает, что если бы тестирование проводилось сейчас, результаты были бы лучше.
ИИ может быть отличным инструментом для обработки больших массивов информации и выявления закономерностей, но работать с ним нужно умело и внимательно, чтобы он опирался на научные данные, напоминает Клинданиэл.
«Обучение студентов осторожному и критичному подходу к генеративному ИИ поможет сформировать более технологически грамотное и вдумчивое общество», — заключает Магнани.
