Новости

Нейросеть научили восстанавливать «мысли» человека

Специалисты российской ГК «Нейроботикс» («Нейроассистивные технологии») и Лаборатории нейроробототехники МФТИ научились воссоздавать изображения, которые человек видит в данный момент. В будущем это поможет создать новый тип устройств для постинсультной реабилитации.

Для создания устройств, управляемых мозгом, необходимо понять, как именно мозг кодирует информацию. Для этого необходимо исследовать активность мозга, возникающую при визуальном восприятии информации. Для распознавания изображений по сигналам мозга сегодня используется функциональная магнитно-резонансная томография или анализ сигнала нейронов. Однако эти методы сложно применять в клинической практике и повседневной жизни.  Интерфейс «мозг — компьютер», созданный командой ученых из МФТИ и «Нейроботикс», использует электроэнцефалограмму (ЭЭГ), снимаемую с поверхности головы, после чего эти данные изучаются с помощью нейросетей. Метод в режиме реального времени реконструирует кадры из видео, которое смотрит человек.

Для эксперимента учёные выбрали пять разных категорий видеороликов: «абстракции», «водопады», «лица людей», «скорость» и «движущиеся механизмы». Ролики демонстрировали испытуемым, фиксируя при этом активность их мозга. Анализ данных показал, что частотные характеристики волновой активности ЭЭГ различаются в зависимости от категорий видеороликов. Далее исследователи произвольно выбрали три категории из вышеперечисленных видео и загрузили все данные в две разработанные нейросети. Одна нейросеть генерировала произвольные изображения этих же категорий из «шума», а вторая —  создавала похожий «шум» из ЭЭГ. Затем нейросети обучили работать совместно, чтобы они создавали по записанному сигналу ЭЭГ кадры, похожие на те, которые люди видят в момент записи. Нейросети создавали реалистичные кадры, по которым в 90% случаев  можно было определить категорию видео. Как отмечает Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс», раньше учёные считали, что «исследовать процессы в мозге по ЭЭГ  — это всё равно, что пытаться узнать устройство двигателя паровоза по его дыму». Однако эксперимент показал, что успешная реконструкция изображения по ЭЭГ возможна.

Фото: @tsarcyanide, пресс-служба МФТИ; Григорий Рашков

Читайте также
Кто и зачем нарисовал 35-метрового кота в Перу
Кто и зачем нарисовал 35-метрового кота в Перу
Вы тоже не верите, что перуанский кот нарисован до нашей эры? Выглядит как-то современно?
НАСА нашло на Луне воду из российского исследования
НАСА нашло на Луне воду из российского исследования
Десять лет назад российский ученый заявил, что на Луне есть вода. НАСА подтвердило.
С вероятностью 50% наш мир — симуляция
С вероятностью 50% наш мир — симуляция
Нас могли выдумать, чтобы посмотреть, как это работает.