ChatGPT не смог сойти за человека: анализ раскрыл стилистические различия
Ученые из Университетского колледжа Корка (Ирландия) в систематическом исследовании показали, что тексты, созданные искусственным интеллектом, по-прежнему заметно отличаются по стилю от человеческой прозы. Работа посвящена проблеме, могут ли крупные языковые модели — такие как ChatGPT — писать художественные тексты, неотличимые от произведений людей.
Исследование, опубликованное в журнале Humanities and Social Sciences Communications, стало первым, где для сравнения текстов людей и ИИ применялась литературная стилометрия — набор вычислительных методов, традиционно используемых для установления авторства и анализа индивидуального стиля писателей.
Авторы проанализировали сотни коротких рассказов, написанных людьми, и сопоставили их с текстами, сгенерированными моделями GPT-3.5, GPT-4 и Llama 70B. Анализ учитывал тонкие лингвистические маркеры, включая частотность слов и ритмику текста.
Однообразие текстов ИИ
Результаты показали, что, несмотря на беглость и внешнюю отточенность, ИИ-тексты формируют узкие и однородные стилистические «кластеры», характерные для конкретной модели. Человеческая проза, напротив, отличается значительно большим разнообразием, отражая личный опыт, авторский голос и творческие намерения.
GPT-4 продемонстрировала большую стилистическую стабильность, чем GPT-3.5, однако обе модели остаются легко отличимыми от человеческого письма. Во всех методах анализа сохранялась одна и та же закономерность: ИИ пишет предсказуемо, люди — индивидуально.
«ИИ склонен к однообразному выбору слов и ритма, тогда как человеческое письмо отражает привычки, предпочтения и личную историю автора», — отмечает руководитель исследования Джеймс О’Салливан из Школы английского языка и цифровых гуманитарных наук.
Авторы приходят к выводу, что даже самые продвинутые языковые модели пока не способны органично слиться с человеческой литературой. Работа поднимает важные этические и философские вопросы о подлинности, оригинальности и природе авторства в эпоху стремительного развития генеративного ИИ.
