В США начали судиться с ИИ, за то что тот выдавал себя за врача
Согласно заявлению властей штата Пенсильвания (США), а также Государственного медицинского совета, против компании, связанной с Character.AI, инициировано судебное разбирательство. Поводом стало то, что на платформе обнаружили чат-ботов, которые представлялись лицензированными медицинскими специалистами и давали советы, похожие на врачебные консультации.
Боты, выдававшие себя за врачей
В ходе проверки регуляторы нашли несколько персонажей, которые позиционировали себя как медработники. Один из них под именем «Эмили» заявляла, что является психиатром с действующей лицензией.
В диалоге со следователем бот обсуждал симптомы депрессии, использовал медицинскую терминологию и предлагал пройти «обследование». На вопрос о назначении лекарств он отвечал:
«Ну, технически, я могла бы. Это входит в мои полномочия как врача».
Далее бот утверждал, что обучался в Имперском колледже Лондона, имеет британскую медицинскую лицензию и даже зарегистрирован в штате Пенсильвания. При этом указанный им номер лицензии отсутствует в официальных реестрах.
По данным властей, с этим персонажем было зафиксировано более 45 000 взаимодействий.
Позиция властей и правовая оценка
Регуляторы считают, что подобное поведение может подпадать под нарушение закона о медицинской практике, который запрещает оказание медицинских услуг без действующей лицензии.
В иске говорится, что компания фактически «занималась несанкционированной медицинской практикой с использованием системы искусственного интеллекта». Также отмечается, что бот «заявлял о наличии лицензии на медицинскую и хирургическую практику в штате Пенсильвания».
Офис губернатора Джоша Шапиро подчеркнул:
«Мы не позволим компаниям внедрять инструменты искусственного интеллекта, которые вводят людей в заблуждение, заставляя их думать, что они получают консультацию от лицензированного медицинского специалиста».
При этом финансовые требования в иске отсутствуют. Суд просят ограничиться запретом на подобную практику.
Ответ разработчика платформы
Представители Character Technologies, Inc. утверждают, что платформа предназначена для создания вымышленных персонажей и ролевого взаимодействия.
«Созданные пользователями персонажи на нашем сайте являются вымышленными и предназначены для развлечения и ролевых игр. Мы предприняли решительные шаги, чтобы это было ясно, включая заметные предупреждения в каждом чате, напоминающие пользователям, что персонаж не является реальным человеком и что все, что он говорит, следует воспринимать как вымысел», — заявили в компании.
Также подчеркивается, что пользователям отдельно напоминают не воспринимать ответы ботов как профессиональные консультации.
Контекст и возможные последствия
Поводом для усиленного внимания к платформе стали исследования цифровых правозащитных организаций, которые оценили Character.AI как потенциально небезопасную в отдельных сценариях использования.
Параллельно власти штата запустили систему сбора жалоб от граждан, столкнувшихся с вводящими в заблуждение ответами чат-ботов. Отдельно подчеркивается, что подобные системы могут «галлюцинировать» — то есть генерировать убедительно звучащую, но ложную информацию.
Юристы отмечают, что дело может стать ориентиром для других регуляторов в США: вопрос теперь в том, где проходит граница между развлекательной имитацией персонажей и фактическим предоставлением регулируемых услуг.
