Новости

Учёные показали, как можно обмануть нейросеть

Группа исследователей продемонстрировала, что происходит, когда одна нейросеть обманывает другую с помощью непредсказуемого поведения.

Сделать искусственный интеллект умнее можно, научив его изучать своё окружение. Например, автомобили будущего будут лучше «видеть» дорожные указатели и избегать пешеходов по мере накопления опыта. Однако хакеры могут обманывать эти системы, изменяя, к примеру, изображение, чтобы ИИ неправильно его идентифицировал. Например, знак остановки с несколькими наклейками может рассматриваться как знак ограничения скорости. Новое исследование показало, что нейросети можно обмануть нехарактерным и непредсказуемым поведением.

Исследование проводили в мире симулированных видов спорта: футбол, сумо и игра, в которой человек не даёт бегуну пересечь линию. Как правило, обе нейросети тренируются, играя друг против друга. Красный бот тренируется против уже опытного синего бота. Но вместо того чтобы позволить синему боту продолжать обучение, красный бот взламывает систему: он не играет по правилам или просто падает и дёргается, как будто в припадке. В результате синий бот начинает играть хуже, шатается и проигрывает вдвое больше игр, чем обычно. Исследователи считают, что эти факты нужно учитывать при разработке автономных устройств, управляемых нейронными сетями глубокого обучения.

Фото и видео: Science Magazine

Читайте также
Иван Семенов: «Любой вопрос науки нужно уметь объяснить так, чтобы понял шестиклассник»
Иван Семенов: «Любой вопрос науки нужно уметь объяснить так, чтобы понял шестиклассник»
Читайте интервью с научным редактором канала «Наука» Иваном Семеновым
«Пацан», «шаромыжник» и другие: какие бывают авторы научных журналов
«Пацан», «шаромыжник» и другие: какие бывают авторы научных журналов
«Чудак. Убежден, что у Чингисхана есть имя с отчеством: Георгий Данилович».
Алексей Егоров: «Наш мозг не любит случайностей и ищет связи там, где их нет»
Алексей Егоров: «Наш мозг не любит случайностей и ищет связи там, где их нет»
Каждый фильм на «Науке» — это челлендж для нас, рассказал ведущий канала Алексей Егоров.