Исследование: ИИ пока рано использовать при вынесении решений в судах

Многие думают, что нейросеть автоматически выносит справедливые приговоры без расового предубеждения, но на самом деле она может быть еще более предвзятой, чем судья-человек.
Shutterstock

Алгоритмы на основе искусственного интеллекта в качестве эксперимента начали использоваться в американской судебной системе.

«По данным Министерства юстиции США, в 2021 году афроамериканцев и коренных жителей Америки среди заключенных было более чем в три раза больше, чем "белых". Теоретически, если алгоритм прогнозирования менее предвзят, чем лицо, принимающее решения, это должно привести к меньшему количеству заключенных под стражу чернокожих, представителей коренных народов и других политически маргинализированных людей. Но алгоритмы могут ошибаться не реже людей», — говорит Нгози Окидегбе, специалист по праву и нейросетям из Бостонского университета (США). Она является автором научной публикации, вышедшей в Connecticut Law Review, где анализируется применение алгоритмов в судах.

В своей самой базовой форме алгоритмы — это лишь инструмент для решения проблем. Инженеры могут научить компьютеры обрабатывать большие объемы данных, а затем находить решение. Чем больше данных будет содержать компьютерная модель, тем более детальными и точными должны быть ее результаты.

Но растущее количество академических исследований показывает, что алгоритмы, построенные на неполных или необъективных данных, могут воспроизвести или даже усилить расовую и этническую предвзятость. Например, среди прочих в судебной системе используется генерируемый ИИ прогноз склонности преступника к рецидивизму. Эта оценка говорит судье, насколько вероятно, что этот человек совершит новое преступление в ближайшем будущем. Если судья принимает это во внимание, то назначает более длительное тюремное заключение преступнику, у которого риск стать рецидивистом высок.

Однако исследование показало, что на самом деле эти оценки не являются беспристрастными. Одна конкретная система, используемая судами по всей стране, ошибалась примерно в два раза чаще в отношении чернокожих, чем в отношении белых: она ошибочно помечала в два раза больше чернокожих, которые потом на самом деле не совершали повторных преступлений.

При этом Окидегбе отмечает, что использование алгоритмов во время судебного процесса часто вообще не афишируется. Кроме того, она ставит под сомнение разнообразие данных, на которых обучаются такие нейросети: данные могут быть субъективными и дискриминационными. Разработчики при создании алгоритмов работают с судьями, чтобы определить, например, что поможет им выносить приговоры к тюремному заключению, но не с заключенными. Данные берутся из полицейских отчетов и судебных документов, то есть от карательной системы, в то время как другая сторона не представлена.

Неуравновешенность, эгоизм и просто вранье? — Почему не стоит доверять чат-ботам

Появилась новая правовая коллизия: кому выдавать патент на изобретения, сделанные ИИ?

В модели машинного обучения внедряют идею справедливости