Neuralink научила мозговой имплантат управлять звонками и запускать ИИ: видео

Компания Neuralink представила новые функции своего нейроинтерфейса, которые помогут людям с тяжелыми нарушениями речи общаться по телефону, набирать текст на iPhone и управлять ИИ. 

Имплантат считывает сигналы мозга, связанные с попыткой произнести слова, и преобразует их в текст или синтезированную речь. Теперь разработчики добавили несколько способов использовать эту систему в повседневной жизни.

Управление ИИ без голоса

Одна из новых функций позволяет запускать ИИ-агента Grok с помощью воображаемой речи. Пользователю достаточно мысленно произнести фразу «Привет, Neuralink», а затем сформулировать команду. После этого агент самостоятельно выполняет задачу на компьютере.

Раньше для начала и остановки декодирования речи участнику приходилось нажимать кнопку. Теперь система сама определяет, когда человек пытается заговорить, и включает или выключает обработку сигналов мозга.

Neuralink также показала визуализацию нейронной активности в реальном времени. Она отображает интенсивность и распределение сигналов, помогая участникам подбирать мысленные речевые модели, которые имплантат распознает лучше.

Телефонные звонки и сообщения без рук

Еще одна функция позволяет использовать синтезированную имплантатом речь во время обычных звонков на iPhone. Система передает искусственный голос непосредственно в аудиопоток микрофона телефона, поэтому собеседник слышит его так же, как обычную речь.

Во время демонстрации участник исследования позвонил жене. В Neuralink отметили, что их отношения начались именно с телефонных разговоров.

Кроме того, разработчики интегрировали нейроинтерфейс с клавиатурой iOS. Теперь пользователь может вводить текст в разных приложениях, представляя, что произносит нужные слова, — без прикосновения к экрану и обычной клавиатуры. Это может быть особенно полезно людям с боковым амиотрофическим склерозом (БАС) и другими состояниями, затрудняющими речь и движения.

Обновления коснулись и мобильного приложения Bloom. В нем появилась более быстрая система исправления ошибок распознавания, а также возможность общаться с помощью синтезированной речи прямо с экрана блокировки, не разблокируя смартфон.

От лаборатории к повседневному общению

Некоторые функции разработали во время 72-часового инженерного спринта в доме одного из участников исследования VOICE. Инженеры работали вместе с ним и его женой, проверяли прототипы и вносили изменения с учетом их замечаний. Часть решений доработали уже в последующие недели.

При этом Neuralink пока не опубликовала количественные показатели работы новых функций, в том числе точность распознавания воображаемой речи и скорость отклика системы.

Имплантат считывает сигналы мозга, связанные с попыткой произнести слова, и преобразует их в текст или синтезированную речь. Теперь разработчики добавили несколько способов использовать эту систему в повседневной жизни.