Новости

Учёные показали, как можно обмануть нейросеть

Группа исследователей продемонстрировала, что происходит, когда одна нейросеть обманывает другую с помощью непредсказуемого поведения.

Сделать искусственный интеллект умнее можно, научив его изучать своё окружение. Например, автомобили будущего будут лучше «видеть» дорожные указатели и избегать пешеходов по мере накопления опыта. Однако хакеры могут обманывать эти системы, изменяя, к примеру, изображение, чтобы ИИ неправильно его идентифицировал. Например, знак остановки с несколькими наклейками может рассматриваться как знак ограничения скорости. Новое исследование показало, что нейросети можно обмануть нехарактерным и непредсказуемым поведением.

Исследование проводили в мире симулированных видов спорта: футбол, сумо и игра, в которой человек не даёт бегуну пересечь линию. Как правило, обе нейросети тренируются, играя друг против друга. Красный бот тренируется против уже опытного синего бота. Но вместо того чтобы позволить синему боту продолжать обучение, красный бот взламывает систему: он не играет по правилам или просто падает и дёргается, как будто в припадке. В результате синий бот начинает играть хуже, шатается и проигрывает вдвое больше игр, чем обычно. Исследователи считают, что эти факты нужно учитывать при разработке автономных устройств, управляемых нейронными сетями глубокого обучения.

Фото и видео: Science Magazine

Читайте также
Чем отличается «сухой» биолог от «мокрого»? Подборка научных мемов
Чем отличается «сухой» биолог от «мокрого»? Подборка научных мемов
Пифагор в ярости, домашнее животное тарантула, отличие «сухого» биолога от «мокрого»
«Миллиард вакцин за год никто не производил»: основные вызовы в борьбе с COVID-19
«Миллиард вакцин за год никто не производил»: основные вызовы в борьбе с COVID-19
«Мы все в автобусе, который завис над пропастью. Все восемь миллиардов внутри».
Марсианская гонка: страны-участницы и что они запускают
Марсианская гонка: страны-участницы и что они запускают
Такой конкуренции на марсианском направлении еще не было