Исследование: могут ли большие языковые модели (вроде ChatGPT) понять сарказм?
Большие языковые модели (LLM) могут генерировать реалистичные и исчерпывающие тексты на основе обучения, ранжирования и предсказания.
Исследователи из Нью-Йоркского университета недавно проверили смогут ли LLM распознавать человеческий сарказм: ироническое заявление, прямо противоположное тому, что кто-то пытается сказать. Выводы пока опубликованы на сервере препринтов arXiv. о них рассказывает Tech Xplore.
«Способность правильно распознавать сарказм необходима для понимания истинного мнения людей», — написала руководитель исследования Джулианн Чжоу.
Анализ настроений — это область исследований, которая включает в себя анализ текстов, обычно публикуемых на платформах социальных сетей или других веб-сайтах, чтобы получить представление о том, как люди относятся к определенной теме или продукту. Сегодня многие компании инвестируют в эту область, чтобы понять, как они могут улучшить свои услуги. Многие обзоры и комментарии в Интернете, содержат иронию и сарказм, что может заставить нейросети классифицировать их как «положительные», хотя на самом деле они выражают отрицательные эмоции, или наоборот.
В исследовании анализируется корпус комментариев с Reddit с использованием двух нейросетей: CASCADE и RCNN-RoBERTa. Также результаты сравнивались с человеческими.
Выяснилось, что нейросети в целом потерпели фиаско, но — за одним исключением: если ИИ просили «ответить так, как ответил бы такой-то пользователь». То есть именно «встраивание личности пользователя» и контекста дало хорошие результаты.
