Новости

Учёные показали, как можно обмануть нейросеть

Группа исследователей продемонстрировала, что происходит, когда одна нейросеть обманывает другую с помощью непредсказуемого поведения.

Сделать искусственный интеллект умнее можно, научив его изучать своё окружение. Например, автомобили будущего будут лучше «видеть» дорожные указатели и избегать пешеходов по мере накопления опыта. Однако хакеры могут обманывать эти системы, изменяя, к примеру, изображение, чтобы ИИ неправильно его идентифицировал. Например, знак остановки с несколькими наклейками может рассматриваться как знак ограничения скорости. Новое исследование показало, что нейросети можно обмануть нехарактерным и непредсказуемым поведением.

Исследование проводили в мире симулированных видов спорта: футбол, сумо и игра, в которой человек не даёт бегуну пересечь линию. Как правило, обе нейросети тренируются, играя друг против друга. Красный бот тренируется против уже опытного синего бота. Но вместо того чтобы позволить синему боту продолжать обучение, красный бот взламывает систему: он не играет по правилам или просто падает и дёргается, как будто в припадке. В результате синий бот начинает играть хуже, шатается и проигрывает вдвое больше игр, чем обычно. Исследователи считают, что эти факты нужно учитывать при разработке автономных устройств, управляемых нейронными сетями глубокого обучения.

Фото и видео: Science Magazine

Читайте также
Тест: отвечаем на вопросы из ЕГЭ-2021
Тест: отвечаем на вопросы из ЕГЭ-2021
Ускоренный единый госэкзамен по разным предметам сразу
«Ощущение настоящего неба». Текст, после которого вам захочется в планетарий
«Ощущение настоящего неба». Текст, после которого вам захочется в планетарий
Зачем ходить в планетарий? Рассказывает научный директор Московского планетария
Как предотвратить мусорный апокалипсис
Как предотвратить мусорный апокалипсис
Микропластик повсюду: в воде, воздухе, организме. Нашей цивилизации угрожает мусорная катастрофа?