Новости

Нейросеть научили восстанавливать «мысли» человека

Специалисты российской ГК «Нейроботикс» («Нейроассистивные технологии») и Лаборатории нейроробототехники МФТИ научились воссоздавать изображения, которые человек видит в данный момент. В будущем это поможет создать новый тип устройств для постинсультной реабилитации.

Для создания устройств, управляемых мозгом, необходимо понять, как именно мозг кодирует информацию. Для этого необходимо исследовать активность мозга, возникающую при визуальном восприятии информации. Для распознавания изображений по сигналам мозга сегодня используется функциональная магнитно-резонансная томография или анализ сигнала нейронов. Однако эти методы сложно применять в клинической практике и повседневной жизни.  Интерфейс «мозг — компьютер», созданный командой ученых из МФТИ и «Нейроботикс», использует электроэнцефалограмму (ЭЭГ), снимаемую с поверхности головы, после чего эти данные изучаются с помощью нейросетей. Метод в режиме реального времени реконструирует кадры из видео, которое смотрит человек.

Для эксперимента учёные выбрали пять разных категорий видеороликов: «абстракции», «водопады», «лица людей», «скорость» и «движущиеся механизмы». Ролики демонстрировали испытуемым, фиксируя при этом активность их мозга. Анализ данных показал, что частотные характеристики волновой активности ЭЭГ различаются в зависимости от категорий видеороликов. Далее исследователи произвольно выбрали три категории из вышеперечисленных видео и загрузили все данные в две разработанные нейросети. Одна нейросеть генерировала произвольные изображения этих же категорий из «шума», а вторая —  создавала похожий «шум» из ЭЭГ. Затем нейросети обучили работать совместно, чтобы они создавали по записанному сигналу ЭЭГ кадры, похожие на те, которые люди видят в момент записи. Нейросети создавали реалистичные кадры, по которым в 90% случаев  можно было определить категорию видео. Как отмечает Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс», раньше учёные считали, что «исследовать процессы в мозге по ЭЭГ  — это всё равно, что пытаться узнать устройство двигателя паровоза по его дыму». Однако эксперимент показал, что успешная реконструкция изображения по ЭЭГ возможна.

Фото: @tsarcyanide, пресс-служба МФТИ; Григорий Рашков

Читайте также
Глобальное потепление заставит нас эволюционировать?
Глобальное потепление заставит нас эволюционировать?
Возможна ли адаптация человека к изменениям климата? Животные уже отращивают себе клювы и хвосты.
Красивое растение из Америки заполонило русские поля
Красивое растение из Америки заполонило русские поля
После этой статьи вы будете смотреть на люпины с осуждением и не станете выращивать их у себя в саду.
Круче, чем в «Дюне»: самые отмороженные черви Земли
Круче, чем в «Дюне»: самые отмороженные черви Земли
Зоолог рассказал о самых впечатляющих червях, которые могли вдохновить создателей фильма «Дюна».