Новости

Нейросеть научили восстанавливать «мысли» человека

Специалисты российской ГК «Нейроботикс» («Нейроассистивные технологии») и Лаборатории нейроробототехники МФТИ научились воссоздавать изображения, которые человек видит в данный момент. В будущем это поможет создать новый тип устройств для постинсультной реабилитации.

Для создания устройств, управляемых мозгом, необходимо понять, как именно мозг кодирует информацию. Для этого необходимо исследовать активность мозга, возникающую при визуальном восприятии информации. Для распознавания изображений по сигналам мозга сегодня используется функциональная магнитно-резонансная томография или анализ сигнала нейронов. Однако эти методы сложно применять в клинической практике и повседневной жизни.  Интерфейс «мозг — компьютер», созданный командой ученых из МФТИ и «Нейроботикс», использует электроэнцефалограмму (ЭЭГ), снимаемую с поверхности головы, после чего эти данные изучаются с помощью нейросетей. Метод в режиме реального времени реконструирует кадры из видео, которое смотрит человек.

Для эксперимента учёные выбрали пять разных категорий видеороликов: «абстракции», «водопады», «лица людей», «скорость» и «движущиеся механизмы». Ролики демонстрировали испытуемым, фиксируя при этом активность их мозга. Анализ данных показал, что частотные характеристики волновой активности ЭЭГ различаются в зависимости от категорий видеороликов. Далее исследователи произвольно выбрали три категории из вышеперечисленных видео и загрузили все данные в две разработанные нейросети. Одна нейросеть генерировала произвольные изображения этих же категорий из «шума», а вторая —  создавала похожий «шум» из ЭЭГ. Затем нейросети обучили работать совместно, чтобы они создавали по записанному сигналу ЭЭГ кадры, похожие на те, которые люди видят в момент записи. Нейросети создавали реалистичные кадры, по которым в 90% случаев  можно было определить категорию видео. Как отмечает Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс», раньше учёные считали, что «исследовать процессы в мозге по ЭЭГ  — это всё равно, что пытаться узнать устройство двигателя паровоза по его дыму». Однако эксперимент показал, что успешная реконструкция изображения по ЭЭГ возможна.

Фото: @tsarcyanide, пресс-служба МФТИ; Григорий Рашков

Читайте также
Судно «Академик Мстислав Келдыш» открывает мрачные тайны Арктики
Судно «Академик Мстислав Келдыш» открывает мрачные тайны Арктики
40 лет судно «Академик Мстислав Келдыш» служит науке. Рассказываем о морских исследованиях Арктики
Как и зачем читают наши мысли?
Как и зачем читают наши мысли?
Устройство для чтения мыслей по активности мозга уже создано: это нейроинтерфейс «мозг — компьютер».
«Зарезвились на просторе радикалы». К юбилею Николая Семенова
«Зарезвились на просторе радикалы». К юбилею Николая Семенова
В 25 лет он пообещал получить Нобелевскую премию и сделал это в 60. Физикохимику Семенову — 125 лет.