Когнитивные искажения, которые ИИ порождает у людей, измерили в процентах
Насколько предвзятость чат-бота влияет на пользователей? Оказалось, что сильно. И теперь известно, насколько.
Клиенты на 32% охотнее покупают товар, прочитав сводку отзывов, сгенерированную чат-ботом, чем ознакомившись с оригинальным отзывом, написанным человеком. Причина в том, что большие языковые модели (LLM) вносят в резюме систематическое искажение — в данном случае позитивный фрейминг. Это, в свою очередь, влияет на поведение пользователей.
В Калифорнийском университете в Сан-Диего (UC San Diego) провели исследование, впервые, по утверждению его авторов, оценившее реальные последствия когнитивных искажений, привносимых большими языковыми моделями (LLM), в процессе принятия решений. Его результаты представлены на конференции Азиатско-Тихоокеанской ассоциации компьютерной лингвистики.
Как измеряли
Ученые обнаружили, что созданные LLM резюме меняют эмоциональную окраску (сентимент) исходных отзывов в 26,5% случаев. В 60% случаев LLM галлюцинируют, отвечая на вопросы пользователей, если ответы не входят в исходные обучающие данные. Галлюцинации возникали, когда модели отвечали на вопросы о новостях — как реальных, так и фейковых, — которые можно было легко проверить.
«Стабильно низкая точность подчеркивает ключевое ограничение: постоянную неспособность достоверно отличать факты от вымысла», — пишут исследователи.
Особенность работы большинства LLM состоит в том, что они склонны опираться на начало текста, который суммируют, упуская нюансы, появляющиеся дальше. Кроме того, надежность моделей снижается при столкновении с данными, выходящими за рамки их обучающей выборки.
Влияние на решения
Чтобы проверить, как предвзятость LLM влияет на выбор пользователей, исследователи отобрали примеры с наиболее выраженным изменением тональности (например, с негативной на позитивную) и привлекли 70 человек. Участники читали либо оригинальные отзывы, либо сводки, созданные LLM, на разные товары — гарнитуры, налобные фонари, радиоприемники.
Те, кто ознакомился с резюме от LLM, заявили о готовности купить товар в 84% случаев, тогда как среди читавших оригинальные отзывы этот показатель составил 52%.
«Мы не ожидали, что влияние сводок окажется настолько сильным, — признается первый автор статьи Абир Алесса, выполнявшая эту работу во время обучения в UC San Diego. — Наши тесты проводились в условиях низких рисков. Но в ситуациях с высокими ставками последствия могут быть куда серьезнее».
Что делать
Попытки смягчить недостатки LLM дали неоднозначные результаты. Исследователи оценили 18 методов противодействия. Выяснилось, что некоторые методы работают для конкретных моделей и сценариев, но ни один не оказался универсально эффективным. Более того, часть методов имеет нежелательные побочные эффекты, снижающие надежность моделей в других аспектах.
«Есть разница между глобальным устранением предвзятости и галлюцинаций и решением этих проблем в конкретных сценариях и приложениях», — говорит профессор Джулиан МакОли из UC San Diego, старший автор исследования.
Что изучали
Исследователи протестировали три небольшие модели с открытым исходным кодом: Phi-3-mini-4k-Instruct, Llama-3.2-3B-Instruct и Qwen3-4B-Instruct; модель среднего размера Llama-3-8B-Instruct; большую открытую модель Gemma-3-27B-IT; а также закрытую модель GPT-3.5-turbo.
«Наша работа — это шаг к тщательному анализу и смягчению изменений контента, которые LLM индуцируют у людей, а также к пониманию их эффектов. Цель — снизить риск систематической предвзятости в принятии решений в СМИ, образовании и государственной политике», — заключают исследователи.
