Новости

Нейросеть научили восстанавливать «мысли» человека

Специалисты российской ГК «Нейроботикс» («Нейроассистивные технологии») и Лаборатории нейроробототехники МФТИ научились воссоздавать изображения, которые человек видит в данный момент. В будущем это поможет создать новый тип устройств для постинсультной реабилитации.

Для создания устройств, управляемых мозгом, необходимо понять, как именно мозг кодирует информацию. Для этого необходимо исследовать активность мозга, возникающую при визуальном восприятии информации. Для распознавания изображений по сигналам мозга сегодня используется функциональная магнитно-резонансная томография или анализ сигнала нейронов. Однако эти методы сложно применять в клинической практике и повседневной жизни.  Интерфейс «мозг — компьютер», созданный командой ученых из МФТИ и «Нейроботикс», использует электроэнцефалограмму (ЭЭГ), снимаемую с поверхности головы, после чего эти данные изучаются с помощью нейросетей. Метод в режиме реального времени реконструирует кадры из видео, которое смотрит человек.

Для эксперимента учёные выбрали пять разных категорий видеороликов: «абстракции», «водопады», «лица людей», «скорость» и «движущиеся механизмы». Ролики демонстрировали испытуемым, фиксируя при этом активность их мозга. Анализ данных показал, что частотные характеристики волновой активности ЭЭГ различаются в зависимости от категорий видеороликов. Далее исследователи произвольно выбрали три категории из вышеперечисленных видео и загрузили все данные в две разработанные нейросети. Одна нейросеть генерировала произвольные изображения этих же категорий из «шума», а вторая —  создавала похожий «шум» из ЭЭГ. Затем нейросети обучили работать совместно, чтобы они создавали по записанному сигналу ЭЭГ кадры, похожие на те, которые люди видят в момент записи. Нейросети создавали реалистичные кадры, по которым в 90% случаев  можно было определить категорию видео. Как отмечает Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс», раньше учёные считали, что «исследовать процессы в мозге по ЭЭГ  — это всё равно, что пытаться узнать устройство двигателя паровоза по его дыму». Однако эксперимент показал, что успешная реконструкция изображения по ЭЭГ возможна.

Фото: @tsarcyanide, пресс-служба МФТИ; Григорий Рашков

Читайте также
«SIX без S — это 9»: подборка научных мемов
«SIX без S — это 9»: подборка научных мемов
Уникальное фото кота Шрёдингера и другое.
Солнце — космический убийца Земли
Солнце — космический убийца Земли
Как Солнце может уничтожить нашу цивилизацию?
Россия, США и другие: каким космическим оружием располагают разные страны
Россия, США и другие: каким космическим оружием располагают разные страны
Космическое оружие уже существует в реальности и активно испытывается.