Нейросети считают себя добрее и спокойнее людей: исследование
Люди лучше искусственного интеллекта определяют, кто написал текст — человек или нейросеть. К такому выводу пришли психологи из Университета имени Иоганна Гутенберга в Майнце. В исследовании, опубликованном в журнале Scientific Reports, участники отличили тексты ИИ от человеческих с точностью 83%, тогда как чат-боты справились лишь в 67% случаев. Ученые также выяснили, что языковые модели описывают себя как более добросовестных, доброжелательных и эмоционально устойчивых, чем люди.
Нейросети приписывают себе устойчивые черты характера
Исследователи сравнили ответы семи языковых моделей — ChatGPT-4o, ChatGPT-3.5, Llama-3, Gemma 2, Gemini 2.5, Phi-3 и Orca 2 — с самоописаниями 70 человек. Участникам и чат-ботам предложили пройти психологические опросники и ответить на открытые вопросы о своих интересах, планах на будущее и поведении в стрессовых ситуациях.
В частности, их попросили оценить собственную самооценку и черты характера из так называемой «Большой пятерки». Эта психологическая модель включает открытость новому опыту, доброжелательность, добросовестность, экстраверсию и эмоциональную стабильность.
Каждую языковую модель опрашивали десять раз. Всего ученые получили 140 текстов и проверили, насколько последовательными были ответы нейросетей. Оказалось, что модели действительно воспроизводят довольно устойчивые представления о собственной личности. При этом они чаще приписывали себе добросовестность, доброжелательность и эмоциональную устойчивость, чем люди.
«Наши результаты показывают, что языковые модели действительно приписывают себе достаточно устойчивые личностные профили», — отметила соавтор исследования Сара Остерхольц.
Почему людям проще распознать текст ИИ
На следующем этапе десять человек и шесть чат-ботов оценивали полученные самоописания. Обе группы смогли определить некоторые черты характера авторов, однако их оценки различались. Например, нейросети чаще приписывали людям открытость и высокую самооценку. Люди же оценивали тексты ИИ выше человеческих по всем изученным характеристикам, особенно по эмоциональной устойчивости.
Затем участникам предложили определить авторство каждого текста. Люди справились с этой задачей в 83% случаев, а чат-боты — только в 67%. При этом две модели, Gemma и Gemini, показали результат примерно на уровне среднего показателя среди людей.
И люди, и нейросети чаще ошибочно принимали машинные тексты за человеческие, чем наоборот. Авторы предполагают, что проверяющие старались не обвинять человека в использовании ИИ, если не были уверены в своем выводе.
Участники исследования чаще всего обращали внимание на длину машинных текстов и их неестественный, порой излишне технический или аналитический стиль. Компьютерный анализ выявил и другие различия. В ответах нейросетей чаще встречались слова и выражения, связанные со временем, а также служебные части речи — артикли и предлоги. Люди чаще рассказывали о досуге, эмоциях и отношениях с окружающими.
Можно ли использовать ИИ для оценки личности
Исследователи считают, что языковые модели в будущем могут помогать при психологической оценке и подборе сотрудников. Например, они способны быстро анализировать тексты и составлять предварительное представление о личностных особенностях человека.
«Они могут обеспечить автоматизированную и доступную первичную оценку», — говорит ведущий автор работы Софи Кернер.
