Новости

Учёные показали, как можно обмануть нейросеть

Группа исследователей продемонстрировала, что происходит, когда одна нейросеть обманывает другую с помощью непредсказуемого поведения.

Сделать искусственный интеллект умнее можно, научив его изучать своё окружение. Например, автомобили будущего будут лучше «видеть» дорожные указатели и избегать пешеходов по мере накопления опыта. Однако хакеры могут обманывать эти системы, изменяя, к примеру, изображение, чтобы ИИ неправильно его идентифицировал. Например, знак остановки с несколькими наклейками может рассматриваться как знак ограничения скорости. Новое исследование показало, что нейросети можно обмануть нехарактерным и непредсказуемым поведением.

Исследование проводили в мире симулированных видов спорта: футбол, сумо и игра, в которой человек не даёт бегуну пересечь линию. Как правило, обе нейросети тренируются, играя друг против друга. Красный бот тренируется против уже опытного синего бота. Но вместо того чтобы позволить синему боту продолжать обучение, красный бот взламывает систему: он не играет по правилам или просто падает и дёргается, как будто в припадке. В результате синий бот начинает играть хуже, шатается и проигрывает вдвое больше игр, чем обычно. Исследователи считают, что эти факты нужно учитывать при разработке автономных устройств, управляемых нейронными сетями глубокого обучения.

Фото и видео: Science Magazine

Читайте также
Топинамбур vs борщевик. Может ли одно инвазивное растение вытеснить другое?
Топинамбур vs борщевик. Может ли одно инвазивное растение вытеснить другое?
Приключения инвазивного растения в России: топинамбур проиграл картофелю, но может победить борщевик
Нейробиология секса: как ученые объясняют гомосексуальность и асексуальность
Нейробиология секса: как ученые объясняют гомосексуальность и асексуальность
Как современная нейробиология объясняет гомосексуальную ориентацию и полное равнодушие к сексу?
Разбился градусник? Это не настолько опасно, как нам внушали
Разбился градусник? Это не настолько опасно, как нам внушали
Почему не страшно разбить термометр и как действовать, если у вас дома пролилась ртуть?