Нейросеть для будущего бионического глаза обучили на незрячем пациенте
При содействии незрячего пациента исследователи разработали подход к обработке визуальных данных от бионических протезов глаз — и на нем же проверили. Многообещающие результаты экспериментов опубликованы в журнале Neuron.
Идея разработки состоит в том, чтобы при помощи модели глубокого обучения точнее и быстрее превращать видеоданные в электрические стимулы, поступающие в зрительную кору. Сконфигурированная таким образом нейросеть в будущем станет основой кортикальных протезов зрения.
«Построить абстрактную модель — это одно. А увидеть, как она влияет на эксперимент с участием реального человека, — совсем другое. Именно эта возможность перейти от теории к чему-то, что однажды сможет помочь людям, движет большей частью работы в нашей лаборатории», — надеется руководивший исследованием биоинженер и информатик Майкл Бейелер, возглавляющий лабораторию бионического зрения в Калифорнийском университете в Санта-Барбаре.
Подходы к протезированию зрения условно можно разделить на три направления: стимуляция сетчатки, прямое воздействие на зрительный нерв и подача импульсов непосредственно в затылочные доли коры головного мозга. Последний метод подходит тем, у кого утрачена функциональность зрительных путей. Как правило, это приобретенная слепота — из-за инсульта, нейродегенеративных заболеваний или черепно-мозговых травм. «Для таких людей желание вернуть зрение может быть очень сильным», — считает Бейелер.
Единственный участник клинического испытания
A) Выработанные компьютером электрические импульсы подают в зрительную кору с помощью массива из 96 микроэлектродов.
B) Три способа подобрать стимуляцию так, чтобы получить нужную реакцию мозга:
• «1 к 1» — стимуляция нужной точки коры, словно это пиксели на экране (очень грубо);
• инверсная нейросеть по желаемой реакции мгновенно вычисляет, какой ток нужно подать (точнее и быстро);
• градиентная оптимизация — сложный итеративный подбор через прямую модель для поиска идеального паттерна (точнее, но медленно).
В 2024 году он вместе с подчиненными отправился в Испанию, где встретился с единственным (на тот момент) участником клинического испытания кортикального протеза — 27-летним мужчиной, оставшимся без глаз после черепно-мозговой травмы. На полгода ему вживили 96-канальный нейроимплант в зрительную кору, благодаря которому при подаче импульсов он мог различать фосфены — вспышки света.
«Инженеры со своим технически логичным мышлением склонны рассматривать фосфены как пиксели: стимулируйте больше электродов — и получите более полное изображение. Но мозг устроен иначе. Электроды взаимодействуют друг с другом, нейронные реакции колеблются, и то, что мы подаем на вход, не обязательно соответствует тому, что воспринимает человек. Задача в том, чтобы узнать больше об этом преобразовании», — объясняет исследователь.
За 24 дня экспериментов с пациентом полносвязную нейросеть с 1,2 миллиона параметров натренировали предсказывать паттерны мозговой активности, возникающие при различных комбинациях параметров электрической стимуляции; модель также получала информацию о фоновой активности мозга непосредственно перед каждым тестом. По результатам алгоритм научился вырабатывать импульсы стимуляции, которые с наибольшей вероятностью дают желаемую нейронную реакцию.
«Эффективный зрительный протез не может полагаться на фиксированный способ кодирования. Он должен учиться тому, как реагирует конкретный мозг, и соответствующим образом адаптировать стимуляцию. В конечном счете, устройство должно подстраиваться под человека, а не наоборот», — убежден Бейелер.
Проверили. Что дальше?
В оставшиеся два дня эти наработки ИИ протестировали на добровольце — и они воспроизвели целевые паттерны мозговой активности точнее, чем при использовании других подходов, и при этом требовали меньшего электрического тока. Кроме того, скорость обработки визуальных данных выросла в 400 000 раз — с 20 секунд методом градиентной оптимизации до 50 микросекунд на один паттерн инверсной нейросетью.
В перспективе моделью будут оснащать кортикальные зрительные протезы, обучать ее на конкретном пациенте, а ему останется калибровать алгоритм один раз в день.
