Китайскую речь впервые расшифровали по нейронным сигналам в реальном времени
Интерфейсы «мозг-компьютер» (ИМК) способны вернуть способность к общению людям, потерявшим речь из-за инсульта или неврологического заболевания. Однако до сих пор эти экспериментальные системы, которые объединяют датчики в мозге с декодирующими алгоритмами, создавались в основном для англоговорящих пациентов.
Разработка ИМК для мандаринского китайского — тонального языка, где значение слов кардинально меняется в зависимости от высоты звука, — заметно отставала. Но и тут достигнут значительный прогресс, о котором сообщает журнал Science Advances.
Трудности перевода
Носители тональных языков в мире составляют большинство, поэтому достижение «открывает [ИМК] для огромного числа потенциальных пациентов», говорит специалист по нейролингвистике Мэтью Леонард из Калифорнийского университета в Сан-Франциско. По его словам, прорыв был ожидаем: последние исследования показывают, что сходств в том, как мозг обрабатывает тональные и нетональные языки, больше, чем различий.
Уже несколько лет группа под руководством нейрохирурга Цзиньсона У из Университета Фудань и специалиста по нейроинженерии Чжитао Чжоу из Шанхайской ключевой лаборатории клинических и трансляционных исследований интерфейсов «мозг-компьютер» работает над декодером для китайского языка. В ходе операций по удалению опухолей мозга, во время которых пациентов, как правило, оставляют в сознании, ученые выяснили, как речевые центры кодируют слоги разного тона.
В новом испытании участвовала 43-летняя пациентка с эпилепсией, которой были временно имплантированы электроды в мозг. После двухнедельной тренировки, когда она повторяла базовые китайские фонемы, ИИ научился расшифровывать мозговую активность женщины в речь — и в декабре 2024 года она смогла в реальном времени передать краткие новогодние поздравления на экране компьютера. Было «невероятно волнительно» видеть, как на мониторе появляются слова прямо во время их произнесения, признался У.
Медленно и четко
Исследователи пока не пытались декодировать внутреннюю или мысленную речь, потому что ее нейросигналы слабее. В эксперименте испытуемая читала подсказки вслух, громко, четко и медленно — до 50 китайских иероглифов в минуту, что составляет одну пятую от нормальной скорости, — зато точность распознавания достигла около 70%.
«Существует большая разница между работой со здоровыми говорящими испытуемыми и созданием медицинского ИМК для тех, кто не может говорить», — говорит исследователь ИМК Сергей Стависки из Калифорнийского университета в Дэвисе.
И все же изучение людей с нормальной речью дает более чистые данные для обучения, чем работа с пациентами с речевыми нарушениями. Тем не менее, генерация китайских иероглифов «онлайн», в процессе речи, а не путем последующего переанализа записанных данных, стала «несомненным прогрессом», заключает он.
Что дальше
По словам У, его команда трудится над повышением скорости и точности декодирования. Следующими участниками испытаний станут люди, лишившиеся дара речи в результате инсульта или нейродегенеративного заболевания. Кроме того, исследователи намерены сделать ИМК беспроводным. А самое главное — по мере сбора и накопления данных высокотехнологичный переводчик с языка мозга работает все лучше.
