ИИ определил то, что собирается сказать человек, по активности нейронов в мозге
С помощью алгоритмов машинного обучения нейробиологи проанализировали нейронную активность мозга людей во время разговора и выявили как индивидуальные, так и коллективные паттерны активности, отражающие ключевые характеристики языка. В перспективе по этим данным можно будет реконструировать речевые намерения — проще говоря, вернуть дар речи тем, кто его утратил по медицинским причинам.
«Именно такая степень детализации необходима, чтобы мы могли глубже понять, как мозг порождает речь, и, в конечном счете, как разработать технологии для ее восстановления у людей с нарушениями коммуникации», — говорит директор Национального института глухоты и других нарушений коммуникации Дебара Туччи.
Данные о нейронной активности были получены с помощью микроэлектродных матриц, имплантированных восьми пациентам в клинических целях — для мониторинга эпилептической активности. Ученые из Массачусетской больницы общего профиля в Бостоне воспользовались этой возможностью. Они проводили с каждым из участников естественные беседы на самые разные темы, записывая при этом активность нейронов. Результаты экспериментов приведены в журнале Nature. Расшифровки разговоров синхронизировали во времени с записями активности сотен нейронов в лобновисочной коре — области, связанной с речевой продукцией. Связи между наборами данных нашли с помощью моделей обработки естественного языка.
Оказалось, и вполне ожидаемо, что по возбуждению тех или иных нейронов, зафиксированному непосредственно перед тем, как человек начинает произносить слова, можно предсказывать многие свойства последующей речи — вне зависимости от обсуждаемой темы. Кроме того, выявлено «разделение труда» между изученными нейронами — одни отражали базовую информацию, например, значение слов и их синтаксическую роль, тогда как другие брали на себя более сложные задачи, в том числе объединение фраз в связные предложения.
Созданные модели могли различать даже схожие фразы и слова, что свидетельствует о том, что нейронная активность улавливает также уникальный контекст высказывания.
«Впервые мы описываем процессы, лежащие в основе речи, не на региональном, а на клеточном уровне. Выявив эти фундаментальные строительные блоки, мы заложили основу для того, чтобы приступить к поиску ответов на по-настоящему интересные вопросы», — рассказал первый автор работы Цзин Цай из Массачусетской больницы общего профиля.
Результаты раскрывают, как отдельные нейроны кодируют язык в процессе речи, углубляя наше понимание лингвистической архитектуры мозга. Эти знания могут лечь в основу технологий нового поколения, которые будут преобразовывать нейронную активность в синтезированную речь, превосходя по своим возможностям все, что существует в этой сфере на сегодня.
