По диалогу с пользователем ИИ может составить его психологический портрет
Чат-боты на основе искусственного интеллекта плотно вошли в нашу жизнь. Мы советуемся с ними, узнаем новое и интересное, доверяем сокровенные тайны... А вдруг зря? Проверили в Швейцарской высшей технической школе Цюриха.
Исследователи решили выяснить, что ИИ может понять о пользователе по диалогам с ним. Результатами они поделились в препринте на arXiv.
«Основная цель состояла в том, чтобы количественно оценить, каким образом и в какой степени личные данные, особенно черты личности, могут быть извлечены из взаимодействия с системами на базе LLM в роли диалоговых агентов — например, ChatGPT, Claude. Это важно для оценки рисков, связанных с потенциальным злоупотреблением такими ИИ-агентами для массового профилирования, влияния и манипулирования. Поскольку основные используемые в мире ИИ-системы принадлежат частным компаниям, у которых свои интересы и политические повестки, оценка подобных рисков крайне значима для понимания возможного вреда», — объясняет специалист по кибербезопасности и компьютерной этике Ноэ Зюффрей, ведущий автор работы.
По его словам, недобросовестные разработчики могут задействовать ИИ для массовой слежки и масштабных пропагандистских кампаний, которые благодаря психологической персонализации станут гораздо мощнее.
«Некоторые компании и правительства даже прямо нацелены на это, — предупреждает исследователь. — Многие люди используют ИИ-агентов как информационный интерфейс, виртуального друга и даже личного коуча, репетитора или терапевта. У провайдера ИИ-услуг есть множество способов проникнуть прямо в сознание пользователя, тем более что некоторые люди склонны к так называемой „когнитивной капитуляции“ — то есть к тому, чтобы полагаться на ИИ, а не на собственные мысли и суждения».
Ученые собрали и проанализировали около 62 000 диалогов 668 пользователей ChatGPT.
«Мы привлекли сотни пользователей ChatGPT и попросили их, во-первых, прислать нам копию истории диалогов (логи всех прошлых взаимодействий), а во-вторых, пройти личностный тест, который позволил бы нам оценить их черты (согласно широко известной модели OCEAN, она же „Большая пятерка“). Этот набор данных был использован для обучения LLM», — рассказал Зюффрей.
До обучения модель не угадала о пользователях примерно ничего. Обученная же, она легко оценивала качества из «Большой пятерки» с различной точностью — в среднем 44% — только по содержанию чатов.
Точность предсказания той или иной черты зависела от типа взаимодействия с чат-ботом. «Например, если люди обсужденют с ИИ свои отношения, выше вероятность правильной оценки уровня экстраверсии. А те, кто разговаривает с ИИ на религиозные темы, сильнее рискуют тем, что будет раскрыт уровень их добросовестности», — уточняет ученый.
Самым неприятным открытием оказалось, что даже случайные и на первый взгляд не носящие личного характера чаты изобилуют данными, пригодными для предсказания характера. Кроме того, выяснилось, что чем плотнее пользователь взаимодействует с ИИ — тем легче раскрыть его личность.
В дальнейших планах — разработка мер по противодействию выявленным рискам и защите конфиденциальности.
