Российские ученые перенесли механизм саморегуляции мозга в нейросеть
Ученые МФТИ совместно с коллегами из ННГУ им. Н. И. Лобачевского разработали механизм, позволяющий искусственным нейронным сетям, имитирующим работу мозга, сохранять стабильность и избегать сбоев. Разработка открывает путь к созданию сверхнадежных нейроморфных вычислительных систем, сообщает Минобрнауки. Исследование вышло в European Physical Journal Special Topics.
«В основу нашей разработки заложен принцип гомеостаза — способности систем сохранять равновесие за счет внутренних ресурсов. Это свойство, которое в большей степени присуще биологическим объектам, было реализовано в цифровой архитектуре», — рассказал один из авторов исследования, руководитель лаборатории нейробиоморфных технологий МФТИ и кафедры нейротехнологий Института биологии и биомедицины ННГУ им. Н. И. Лобачевского Виктор Казанцев.
Как нейросеть регулирует свою активность
Для этого были задействованы специальные механизмы, благодаря которым искусственная нейросеть в реальном времени отслеживала уровень своей активности и гибко регулировала силу сигналов между нейронами. Это позволяло системе подавлять перевозбуждения и не допускать «сваливания» в неконтролируемые режимы.
Авторы провели моделирование на базе разработанной ими импульсной нейронной сети (ИНС) — платформы, которая по своей структуре максимально приближена к работе биологического мозга. В таких архитектурах сигналы проходят от нейрона к нейрону в виде коротких электрических импульсов — спайков. При этом в остальное время нейроны неактивны, что значительно экономит вычислительные мощности по сравнению с традиционными нейросетями.
В процессе исследования ученые показали, что импульсная нейронная сеть при низких целевых частотах увеличивает число спайков внутри каждого всплеска, а при высоких — наращивает частоту самих всплесков. Спайк — один короткий импульс нейрона. Всплеск — серия таких импульсов, следующих почти подряд. Целевая частота здесь означает, сколько импульсов в среднем должна генерировать сеть за единицу времени. Сеть может повысить среднюю частоту двумя способами. При низкой целевой частоте она добавляет импульсы в каждую серию. При высокой — чаще запускает сами серии, сокращая паузы между ними.
Это позволяет системе автоматически подстраиваться под требуемый уровень активности, сохраняя стабильность в широком диапазоне режимов работы.
Защита от перегрузки и помех
Исследователи также обнаружили, что значимую роль в подавлении перевозбуждений играет кратковременная синаптическая депрессия — процесс, при котором синапсы (контакты между нейронами) после фазы интенсивной активности на небольшой период ослабляют передачу сигналов. Это предотвращает лавинообразное нарастание возбуждений, при которых отдельные нейроны генерировали бы сотни импульсов подряд.
Ученые дополнили разработку алгоритмом долговременной пластичности. Он изменяет вес связей между нейронами в зависимости от интервалов между импульсами. Это позволило всем нейронам в широком диапазоне частот синхронно реагировать на внешние стимулы. В результате система научилась генерировать «сетевые спайки» — кратковременные разряды, в которых участвуют практически все нейроны. При превышении допустимого порога нейросеть переключалась в режим пропуска лишних стимулов, а при генерации ответа выдавала мощный синхронный разряд.
Процессоры для автономных роботов
По словам исследователей, предложенные механизмы могут стать фундаментом для создания простых нейроморфных процессоров, сопоставимых по энергоэффективности с человеческим мозгом, которые благодаря саморегуляции смогут избегать «зависаний» и будут защищены от помех. Такие системы могут найти применение в автономной робототехнике — устройствах, которые смогут принимать решения без постоянной связи с облачными серверами.
В перспективе ученые планируют адаптировать предложенный подход для более сложных систем. Например, таких, в которых нейроны смогут самостоятельно формировать новые связи взамен утраченных.
