В модели машинного обучения внедряют идею справедливости

Если модель искусственного интеллекта (ИИ) обучается с использованием несбалансированного набора данных — например, содержащего гораздо больше изображений людей со светлой кожей, чем с темной, — существует серьезный риск, что прогнозы этой нейросети будут несправедливыми при ее применении в реальном мире. Причем смещение невозможно исправить позже, даже при переобучении модели со сбалансированным набором данных.

Исследователи Массачусетского технологического университета придумали методику, позволяющую внедрить справедливость непосредственно во внутреннее представление нейросети. Это позволяет модели выдавать достоверные результаты, даже если она обучена на недостоверных данных, что особенно важно, поскольку для машинного обучения сложно найти хорошо сбалансированные наборы данных. Решение не только приводит к более сбалансированным прогнозам от ИИ, но также улучшает его производительность в других задачах, таких как распознавание лиц и классификация видов животных.

«В машинном обучении принято обвинять данные. Но у нас не всегда есть сбалансированные данные», — говорит ведущий автор исследования Натали Дюллеруд, аспирант Массачусетского технологического института.

Исследование будет представлено на Международной конференции по обучающим представлениям, о результатах работы рассказано в пресс-релизе. 

Метод машинного обучения, который использовали исследователи, известен как глубокое метрическое обучение. Нейронная сеть изучает сходство между объектами, сопоставляя похожие фотографии, расположенные близко друг к другу, и разнородные фотографии, расположенные далеко друг от друга. Во время обучения она показывает изображения в «пространстве встраивания», где показатель сходства между фотографиями соответствует расстоянию между ними.

Например, если модель глубокого метрического обучения используется для классификации видов птиц, она будет отображать фотографии золотых вьюрков в одной части пространства вложений и кардиналов — в другой. После обучения модель может эффективно оценивать сходство новых изображений, которых она раньше не видела. Она может группировать фото новых птиц близко друг к другу, но дальше от кардиналов или золотых вьюрков в пространстве встраивания.

По словам Дюллеруд, метрики сходства, которые изучает модель, очень надежны, поэтому глубокое метрическое обучение так часто используется для распознавания лиц. Она и ее коллеги задались вопросом, как определить, является ли метрика сходства предвзятой.

«Мы знаем, что исходные данные для обучения обычно отражают предвзятость общества. Это означает, что мы должны сместить наше внимание на разработку методов, которые лучше подходят для реальности», — говорит старший автор, доцент Марзие Гассеми.

Исследователи определили два типа несправедливости, которые допускает нейросеть. Используя пример распознавания лиц, она будет несправедливой, если поместит фото людей с более темными лицами ближе друг к другу, чем если бы это были изображения людей со светлой кожей. Также будет несправедливо, если признаки, которые она изучит для измерения сходства, будут точнее для группы большинства.

Исследователи провели ряд экспериментов над ИИ с несправедливыми показателями подобия и не смогли преодолеть предвзятость, которую модель уже освоила в своем пространстве.

«Это довольно страшно, потому что компании часто выпускают подобные модели, а затем люди настраивают их для какой-то последующей задачи классификации», — говорит Дюллеруд.

По ее словам, даже если пользователь повторно обучает модель на сбалансированном наборе данных, все равно нехватка производительности остается не менее 20%. Единственный способ решить эту проблему — с самого начала обеспечить справедливое пространство для встраивания.

Решение исследователей состоит в том, чтобы точечно обучить нейросеть распознавать чувствительные параметры, например оттенки кожи. Затем ИИ сможет удалить этот параметр из собственного анализа. Если модель изучает сходство разных человеческих лиц, она научится отображать похожие лица близко друг к другу и непохожие далеко друг от друга, используя другие признаки, но не тон кожи.

Таким образом, любое количество спорных атрибутов может быть удалено из параметров сходства. При этом пользователь может сам настраивать степень важности того или иного признака.

Теперь ученым интересно, можно ли заставить модель глубокого метрического обучения исполнять только «добрые» функции.

«Как правильно проверить справедливость? Как можно оценить, что модель будет справедливой всегда или только в определенных ситуациях? И что это за ситуации? Это все еще открытые вопросы», — говорит Дюллеруд.