ИИ научился переводить ЭЭГ в текст
Интерфейсы «мозг–компьютер» — настоящее спасение для пациентов, утративших способность двигаться. Но все их объединяет один очень серьезный недостаток — необходимость хирургического вмешательства. Решением могло бы стать неинвазивное считывание мозговой активности — например, с помощью электроэнцефалографии (ЭЭГ) или магнитоэнцефалографии (МЭГ).
Увы, информацию эти методы дают крайне невнятную и сложную для обработки. И тут на помощь приходит искусственный интеллект — благодаря его способности к обучению. Результаты прорывных экспериментов по переводу ЭЭГ и МЭГ в текст увидели свет на страницах Nature Neuroscience.
К участию в исследовании его авторы привлекли 35 здоровых добровольцев. Их попросили набирать на клавиатуре определенные предложения, а в это время фиксировали мозговые волны посредством ЭЭГ и МЭГ, особое внимания уделяя моментам, когда испытуемые нажимают на клавиши (продолжительность временно́го окна — 500 мс). На собранных данных обучили гибрид сверточной нейросети с языковой моделью-трансформером.
Под контролем МЭГ и ЭЭГ участники набирали слова на клавиатуре без моментальной визуальной обратной связи. Моторные сигналы декодировались трехкомпонентным алгоритмом глубокого обучения:
1) сверточный модуль, на вход которого подаются 500-мс окна сигналов МЭГ или ЭЭГ,
2) трансформерный модуль, обученный на уровне предложений,
3) предварительно обученная языковая модель для коррекции выходных данных трансформера.
«Мы представляем Brain2Qwerty — новую архитектуру глубокого обучения, предназначенную для расшифровки предложений по данным ЭЭГ или МЭГ», — сказано в статье.
Обученный алгоритм смог предсказать, какую клавишу нажимает участник, и, собрав все буквы воедино, реконструировать набираемую им фразу. При этом если для декодирования применялась ЭЭГ, доля ошибок достигала в среднем 65%, если МЭГ — 29%.
«У лучших участников модели удается достичь ошибки на уровне 18%, и она может безупречно расшифровывать самые разные предложения, не входившие в обучающую выборку», — подчеркивается в исследовании.
Следующим этапом будет перевод в текст моторных сигналов без их реализации — проще говоря, чтобы люди ограничивались тем, что только представляли, как набирают текст. В перспективе же авторы надеются научиться переводить неинвазивно зарегистрированную мозговую активность не только в текст, но и в команды для протезов или других вспомогательных технологий.
