Искусственный интеллект точно определяет расу пациентов по рентгеновским снимкам

Неправильное обучение алгоритмов — серьезная проблема. Когда искусственный интеллект отражает бессознательные мысли и предубеждения людей, создавших алгоритмы, это может нанести серьезный вред. Компьютерные программы, например, которым предлагали выбрать из массива данных фото заключенных, ошибочно помечают чернокожих подсудимых в два раза чаще, чем белых. Когда ИИ использовал стоимость в качестве косвенного показателя потребностей в области здравоохранения, он ошибочно называл чернокожих пациентов более здоровыми, поскольку на них тратилось меньше денег. Даже ИИ, который писал пьесы, опирался на стереотипы о цвете кожи при описании персонажей.

Эту проблему обычно решают удалением из системы ранжирования неких параметров вроде цвета кожи. То есть этот признак ИИ при распределении просто не учитывает. Однако не всегда этого бывает достаточно. Это, например, не может удалить предвзятость, проявляющуюся в человеческом языке. Примеров неравенства в языке слишком много — удалить все возможные варианты пока не получилось.

Недавно ученые нашли еще одну область — медицина и рентгеновские снимки. Научная статья опубликована в журнале Lancet Digital Health, кратко о ней рассказывает Medicalxpress.

Авторы работы обнаружили, что ИИ может точно предсказать расовую принадлежность пациентов только по рентген-изображениям и КТ. На это оказались не способны даже самые опытные врачи, и до сих неясно, как модель машинного обучения смогла это сделать.

В попытке разобраться исследователи провели множество экспериментов. Они удаляли такие переменные, как различия в анатомии, плотности костей, разрешение изображений и многое другое. Однако нейросеть все равно очень точно определяла расу по рентгенограммам грудной клетки и костей.

Например, в тесте плотности использовались изображения, на которых более толстая часть кости казалась белой, а более тонкая часть — более серой или полупрозрачной. Ученые предположили, что, поскольку у чернокожих обычно выше минеральная плотность костей, различия в цвете помогли моделям ИИ определить расу. Чтобы избавиться от этого, они меняли изображения фильтром, чтобы нейросеть не различала цвета. Оказалось, что отключение цвета не смутило модель. Таким образом, ИИ, по-видимому, полагался на все параметры изображения, а это означает, что управление таким типом поведения алгоритма представляет собой запутанную и сложную проблему.

«Это вызывает беспокойство, потому что сверхчеловеческие способности искусственного интеллекта, как правило, гораздо сложнее контролировать и регулировать», — говорит соавтор статьи Марзие Гассеми, доцент кафедры электротехники и компьютерных наук Массачусетского технологического института.

В больницах алгоритмы могут помочь определить, является ли пациент кандидатом на химиотерапию, распределить пациентов по отделениям, решить, нужно ли поместить человека в реанимацию и прочее.

«Мы думаем, что алгоритмы смотрят только на показатели жизнедеятельности или результаты анализов, но вполне возможно, что они также смотрят на вашу расу, этническую принадлежность, пол, находитесь ли вы в заключении или нет — даже если вся эта информация скрыта. Тот факт, что в данных представлены различные группы, не гарантирует, что они не усугубят существующее неравенство. Скармливание алгоритмам большего количества данных не является панацеей. Это исследование должно заставить нас серьезно задуматься о том, готовы ли мы использовать ИИ в медицине», — говорит соавтор статьи Лео Энтони Чели.

Примечательно, что другая работа Гассеми и Чели показала, что нейросети также могут идентифицировать расовую принадлежность пациента из клинических записей, даже если в этих записях отсутствуют явные признаки расы. Как и в этой работе, врачи-люди не могут точно предсказать расу пациента на основании тех же данных.

«Мы должны спросить специалистов по данным: как формируются массивы, на которых учат нейросети? Какие группы пациентов оказываются ущемленными? Каковы причины этих различий? Является ли критерием наличие доступа к медицинской помощи? А может, это связано с субъективностью поставщиков медицинских услуг? Если мы этого не поймем, у нас не будет шанса определить непреднамеренные последствия использования алгоритмов в медицине», — говорит Чели.

В модели машинного обучения внедряют идею справедливости

Искусственный интеллект точнее врача предсказывает смерть от остановки сердца