Новости

Искусственный интеллект научился осознавать, когда он недостаточно умен

Нейросети научились определять, когда они недостаточно компетентны. Такое качество необходимо искусственному интеллекту, который принимает решения в областях, влияющих на жизнь людей.

Помимо трех законов робототехники искусственному интеллекту понадобится еще обязательное понимание пределов своих возможностей, заявили ученые. Нейронные сети с глубоким обучением предназначены для имитации человеческого мозга, взвешивая множество факторов и выявляя закономерности в массивах данных, которые люди не в состоянии проанализировать. Однако такая система должна осознавать случаи, когда она ненадежна, рассказывает Science Alert

«Нам нужна способность не только иметь высокопроизводительные модели, но и понимать, когда мы не можем доверять этим моделям», — сказал автор новой разработки, программист Александр Амини из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) в США.

Новый критерий оценки получил название Deep Evidential Regression (DER, глубокая доказательная регрессия). Он основывается на качестве доступных данных, с которыми нейросеть будет работать — чем точнее и полнее обучающие данные, тем более вероятно, что решения ИИ будут надежны.

Хотя аналогичные меры безопасности были встроены в нейронные сети и раньше, система DER выделяется скоростью реакции: ее можно выполнить за один проход по сети, а не за несколько, и уровень достоверности предоставляется одновременно с решением.

Исследователи протестировали новую систему, заставив ее определять глубину в разных частях изображения, так же как беспилотный автомобиль может определять расстояние. Одновременно нейросеть оценивала свою неуверенность. Случаи, в которых ИИ отметил, что не уверен, совпали с ошибочной оценкой, которую давала нейросеть.

Отдельно сеть могла отмечать случаи, когда она сталкивалась с изображениями за пределами своей обычной компетенции (которые сильно отличаются от данных, на которых она была обучена). Например, в медицине это будет означать, что требуется срочное вмешательство врача-человека.

Даже если нейронная сеть права в 99% случаев, 1% ошибок может иметь серьезные последствия. Исследователи уверены, что встраивание Deep Evidential Regression в нейросети повысит безопасность в режиме реального времени.

Фото: Shutterstock

Нейросети и мораль

Тест! Угадай, кто сочинил: нейросеть или человек?

Читайте также
Искусственный интеллект написал текст, неотличимый от «человеческого»
Искусственный интеллект написал текст, неотличимый от «человеческого»
«Настолько складно, что похоже на фейк».
Научный блог. Разгром гомеопатии ее же оружием
Научный блог. Разгром гомеопатии ее же оружием
Гомеопатия вызывает рак — это утверждение настолько же обоснованно, насколько и утверждение, что гомеопатия помогает от заболеваний. Популяризатор науки Александр Панчин выступает против лжемедицины, используя те же риторические приемы, что и ее сторонники
«Нынешние 30 лет — это 20 лет в предыдущую эпоху»
«Нынешние 30 лет — это 20 лет в предыдущую эпоху»
Обсуждаем с социологом популярный мем: я/мы в 29 лет и наши родители в 29 лет.