Новый нейроинтерфейс позволил парализованному человеку говорить и даже петь
Ученые из Калифорнийского университета в Дэвисе представили систему «мозг-компьютер», которая позволила человеку с тяжелым параличом — вызванным боковым амиотрофическим склерозом (БАС) — вновь заговорить. Причем не просто произносить слова, а делать это в реальном времени, с интонациями, эмоциональной окраской и даже с возможностью петь простые мелодии. Исследование опубликовано в журнале Nature.
Как это работает
Участнику исследования хирургически имплантировали четыре микромассива электродов в область мозга, отвечающую за движение мышц, связанных с речью. Эти имплантаты считывают нейронные сигналы, которые мозг вырабатывает, когда человек пытается говорить — даже если его мышцы уже не могут выполнять команды.
Полученные сигналы передаются в систему, основанную на искусственном интеллекте, которая расшифровывает их и синтезирует речь с минимальной задержкой — всего 10 миллисекунд. Это означает, что человек может говорить практически «вживую», а не в отложенном режиме, как в предыдущих версиях таких технологий.
«Благодаря мгновенному синтезу голоса пользователи нейропротезов смогут более активно участвовать в разговоре», — пояснил один из авторов, Сергей Ставицкий. — «Например, они смогут перебивать или уточнять — что важно для живого общения».
Также система «понимает», когда пользователь хочет петь. Она может распознавать три различных тона и синтезировать вокальные мелодии — пусть пока и простые. Кроме того, модель различает, когда человек делает паузы вроде «эм», «ох» или произносит фразы как вопросы, а также — где делает акценты в предложениях.
Технология использует модель клонирования голоса, обученную на старых аудиозаписях участника — то есть система воспроизводит его собственный голос, каким он был до развития болезни. Это делает речь не только функциональной, но и личной.
В отличие от более ранних BCI-систем, где речь формировалась фрагментарно или набиралась по буквам, система UC Davis позволяет создавать спонтанную, непрерывную и выразительную речь. В одном из тестов она даже смогла правильно воспроизвести выдуманные слова, которых не было в обучающей выборке ИИ.
«Это Святой Грааль для речевых нейроинтерфейсов», — прокомментировал Кристиан Херфф, нейробиолог из Маастрихтского университета, не участвовавший в работе.
Пока система испытана на одном участнике, но команда надеется повторить успех с другими пациентами, утратившими речь из-за разных заболеваний.
