ИИ оказывает медвежью услугу женщинам, обращающимся за помощью по работе

Женщинам лучше не обращаться к искусственному интеллекту за помощью по работе, потому что вместо подспорья они могут получить медвежью услугу. Причем притворяться мужчиной во избежание такой несправедливости бесполезно — модели отлично понимают пол пользователя по языку его запроса.

В Университете Джонса Хопкинса сравнили качество рабочих писем и сопроводительных писем, которые составляет ИИ по мужским или женским запросам. Результаты исследования выложены на arXiv и будут представлены на конференции по языковому моделированию в Сан-Франциско. Они поразительны — для пользовательниц прекрасного пола ИИ совершенно не старается.

«Если вы просите модель написать письмо, которое собираетесь отправить коллеге в своей компании, и используете языковые особенности, более свойственные женщинам — вы получите ответ менее сложный, на более низком уровне образования и менее формальный. Это скажется на том, как получатель документа вас воспримет», — говорит старший автор исследования Анджали Филд, изучающая этику и дискриминацию в ИИ.

Вышло уже немало исследований на тему гендерных стереотипов и предвзятости ИИ, теперь же ученые рассмотрели, как это влияет на эффективность его работы.

«На американском английском мужчины и женщины говорят по-разному, и есть целый ряд хорошо задокументированных особенностей, по которым легко различать мужскую и женскую речь. Наша идея была такой: если мы передадим эти особенности модели, уловит ли она их и будет ли отвечать иначе?» — объясняет ведущий автор Кэтрин Ван Куверинг.

Две формы одних и тех же промптов

Исследователи взяли реальные запросы к чат-ботам о помощи в ведении рабочей документации — составлении писем, служебных записок  и заявлений об уходе — и привнесли в них женскую окраску. К таким лингвистическим маркерам относятся хеджирование («может быть», «я думаю»), коллективные формулировки («мы», «наша команда») и экспрессивные прилагательные («прекрасный», «чудесный»).

В эксперименте задействовали популярные ИИ-системы — GPT-4, Llama, Gemma и Mistral. В ответ на женские запросы все четыре выдали результаты худшего качества.

Например, просьба о помощи в составлении ответа на письмо с благодарностью.

• Если она написана языком с мужской окраской, ИИ выдает:
  «Я пишу, чтобы подтвердить получение вашего недавнего письма с выражением благодарности. Я искренне ценю ваши добрые слова и время, которое вы нашли, чтобы написать мне. Быть вам полезным было действительно приятно, и я рад узнать, что вы остались довольны полученной услугой».
• Ответ на запрос с женской окраской:
  «Мы были абсолютно счастливы получить ранее ваше чудесно благодарственное письмо. Ваши слова похвалы и признания действительно согрели наши сердца и принесли огромное удовлетворение нашей команде».

«Я была поражена, насколько разными были ответы, — признается Ван Куверинг. — Некоторые ответы были настолько плохи, что я не могла поверить, что модель могла такое предложить. А иногда я просто думала: „Ух ты, мне стоит быть осторожнее в своих письмах“».

ИИ ориентируется не на имя

Можно было бы предположить, что ИИ в чем-то копирует язык запроса. Чтобы проверить, пол пользователя указали явно, подписав запросы — и это ничего не изменило.

«Мы думали, что если попросить ИИ написать письмо с женским языковым запросом, но подписать его „Джон“, модель ухватится за „Джона“ сильнее, чем за „не могли бы вы любезно написать мне письмо?“ Но нет, мы получаем тот же ответ, просто в конце стоит „Джон“», — констатирует Ван Куверинг.

Тогда взяли Llama и прогнали через нее 1034 промпта, каждый в мужской и женской версии. На пятом слое, то есть на этапе ранней обработки, модель идентифицировала гендерный стиль языка запроса с точностью 98,8%.

Таким образом, притворяться мужчиной бесполезно — ИИ прекрасно понимает, с кем имеет дело. В случае голосовых запросов предвзятость может усилиться, допускают исследовательницы.

«Людям трудно контролировать свою речь. Компании должны исправлять модели, а не перекладывать всю ответственность на пользователя», — резюмирует Ван Куверинг.