ИИ научился убедительнее политиков отвечать на вопросы

Исследователи из Университета Пассау (Германия) выяснили, что ответы, сгенерированные искусственным интеллектом от имени реальных политиков, люди воспринимают как более достоверные, связные и уместные, чем слова самих политиков. Работа опубликована в журнале PLOS One.

Как проводили эксперимент

Исследователи взяли 30 выпусков британской дискуссионной программы Question Time на BBC1 — одного из самых известных политических форматов страны, где публика задает острые вопросы приглашенным гостям. На основе биографий 112 общественных деятелей из Википедии они попросили GPT-4 Turbo сгенерировать ответы от имени каждого из них на те же вопросы, что звучали в эфире.

Затем 948 взрослых жителей Великобритании оценивали оба типа ответов — настоящие и имитированные — по трем критериям: насколько они аутентичны, насколько связно изложены и насколько отвечают на заданный вопрос. Часть участников оценивала ответы по отдельности, часть сравнивала их рядом.

Результат, который удивил

По всем трем критериям сгенерированные ИИ ответы получили оценки выше, чем реальные. Причем разница оказалась статистически значимой — то есть это не случайность выборки.

Лингвистический анализ показал, что тексты ИИ и людей действительно различаются. ИИ использует более богатый словарный запас и реже употребляет так называемые эпистемические маркеры — фразы вроде «я думаю» или «мне кажется», которые выражают неуверенность. Политики такими оговорками пользуются чаще. Но участников эксперимента это не смутило и на их оценки не повлияло.

Примерно половина участников заметила, что содержание оригинальных и имитированных ответов отличается. И это неудивительно: анализ подмножества ответов показал, что ИИ нередко действительно отвечал на вопрос, тогда как реальный политик его обходил стороной или занимал принципиально иную позицию.

«По структуре текста оригинальные и сгенерированные ответы выглядят почти одинаково — например, по сложности предложений различий нет. Но в настоящих ответах чаще встречаются слова, которые показывают степень уверенности или сомнения. При этом ответы, созданные системой, чаще “цепляются” за формулировки вопроса, а не за его смысл — из-за этого они не всегда отвечают на сам вопрос напрямую», — объясняет соавтор исследования, профессор Аннет Хаутли-Яниш.

Почему это опасно

Результаты — не просто академический курьез. Если люди стабильно считают ответы ИИ более достоверными, чем слова реальных людей, это создает почву для целенаправленных дезинформационных кампаний. Достаточно взять публичную биографию любого политика и попросить ИИ написать от его имени что угодно — и получившийся текст с высокой вероятностью будет воспринят как настоящий.

«Наше исследование убедительно показывает, что люди считают контент дебатов, сгенерированный ИИ, более достоверным, чем то, что говорили известные публичные личности. Это демонстрирует огромный потенциал дезинформации, который ИИ должен учитывать, чтобы критически оценивать любую письменную информацию и предотвращать бесконтрольное распространение дезинформации», — говорит руководитель исследования профессор Штеффен Хербольд.

Он также отмечает, что опрос выявил сильный запрос на прозрачность: люди хотят знать, когда в создании контента участвовал ИИ, и требуют открытого доступа к информации о том, на каких данных он обучался.