Новости

Нейросеть запрограммировали спать и видеть сны

Исследователи создали искусственный интеллект, чья производительность возрастает, если позволять ему время от времени «вздремнуть».

Сон позволяет нейронам удалять ненужные синаптические связи, которые мы создаем в течение дня. Этот процесс, называемый синаптическим гомеостазом, помогает улучшить нашу когнитивную деятельность, в то время как сны позволяют нам обрабатывать наши воспоминания. Как выяснилось, что-то подобное может происходить с искусственными нейронными сетями, если им позволить спать и видеть сны. Математики в Италии запрограммировали нейронную сеть Хопфилда (полносвязная нейронная сеть с симметричной матрицей связей) таким образом, чтобы она могла спать.

Вдохновленные механизмами сна млекопитающих, специалисты ввели новое расширение для нейросети, представляющее собой стандартный механизм обучения в режиме онлайн (бодрствования) и автономно (режим сна). В своём «спящем» состоянии нейросеть циклически перебирает и удаляет ненужную информацию, а затем объединяет то, что представляет ценность. Результаты были впечатляющими: в режиме бодрствования максимальная ёмкость памяти нейросети составляла α=0,14, где α — количество хранимых битов в синапсе. Когда цикл «сна» был включен, нейросеть достигла теоретического предела памяти для сетей этого типа — α = 1. Обширное тестирование с использованием моделирования подтвердило, что «сон» позволяет нейронной сети повысить свою производительность.

 

 

Читайте также
Научный перевод. Как спорить со сторонниками теорий заговора
Научный перевод. Как спорить со сторонниками теорий заговора
Как спорить с конспирологами? Не кричите на них и не смейтесь над ними.
Упавшее яблоко или плагиат: как Ньютон открыл закон всемирного тяготения
Упавшее яблоко или плагиат: как Ньютон открыл закон всемирного тяготения
Все тела во Вселенной притягиваются друг к другу. Вот почему вас так тянет к холодильнику!
Чем отличается «сухой» биолог от «мокрого»? Подборка научных мемов
Чем отличается «сухой» биолог от «мокрого»? Подборка научных мемов
Пифагор в ярости, домашнее животное тарантула, отличие «сухого» биолога от «мокрого»