Новости

Учёные показали, как можно обмануть нейросеть

Группа исследователей продемонстрировала, что происходит, когда одна нейросеть обманывает другую с помощью непредсказуемого поведения.

Сделать искусственный интеллект умнее можно, научив его изучать своё окружение. Например, автомобили будущего будут лучше «видеть» дорожные указатели и избегать пешеходов по мере накопления опыта. Однако хакеры могут обманывать эти системы, изменяя, к примеру, изображение, чтобы ИИ неправильно его идентифицировал. Например, знак остановки с несколькими наклейками может рассматриваться как знак ограничения скорости. Новое исследование показало, что нейросети можно обмануть нехарактерным и непредсказуемым поведением.

Исследование проводили в мире симулированных видов спорта: футбол, сумо и игра, в которой человек не даёт бегуну пересечь линию. Как правило, обе нейросети тренируются, играя друг против друга. Красный бот тренируется против уже опытного синего бота. Но вместо того чтобы позволить синему боту продолжать обучение, красный бот взламывает систему: он не играет по правилам или просто падает и дёргается, как будто в припадке. В результате синий бот начинает играть хуже, шатается и проигрывает вдвое больше игр, чем обычно. Исследователи считают, что эти факты нужно учитывать при разработке автономных устройств, управляемых нейронными сетями глубокого обучения.

Фото и видео: Science Magazine

Читайте также
Испытатель российской вакцины заразился коронавирусом. Препарат не работает?
Испытатель российской вакцины заразился коронавирусом. Препарат не работает?
Большинство считает, что вакцина обязана предотвращать заражение. Но это не так.
Как поймать темную материю
Как поймать темную материю
Темная материя есть даже в вашей комнате, но как ее поймать?
Венера — наша историческая родина?
Венера — наша историческая родина?
Благодаря находке фосфина в облаках Венеры, астрофизики обрели веру в возможность обнаружения внеземной жизни.