ИИ научился считывать мелодии, которые люди воспроизводят в голове
Высокотехнологичная телепатия вышла на новый уровень — теперь искусственный интеллект может считывать мелодии, которые люди воспроизводят в голове. Впечатляющие результаты эксперимента представлены в журнале eNeuro.
В исследовании приняли участие 10 пациентов с эпилепсией, которым в клинических целях имплантированы электроды на поверхность мозга. Они слушали первые такты детских песен, затем пропевали в голове их продолжение и, наконец, напевали услышанное вслух — для проверки.
Электрокортикография зафиксировала мощные импульсы быстрых гамма-волн в верхней височной извилине (слуховая кора, которая вспоминала мелодию) и прецентральной извилине (моторные области, подававшие команды на воображаемое воспроизведение — можно сказать, плеер). На сочетании этих данных натренировали алгоритм машинного обучения, и в тестах он предсказывал ноту, представляемую испытуемым.
«Наша модель декодирует не точные абсолютные значения высоты, а ступени звукоряда — например, до, ре, ми, фа, соль и ля. Такой подход оправдан, потому что люди обычно узнают мелодии именно по соотношениям между нотами, даже если одна и та же песня исполняется в другой тональности», — пояснила нейробиолог Квон Джи из Сеульского национального университета, ведущий автор исследования.
Для чистоты эксперимента ИИ предсказывал не мелодии, а отдельные ноты. Точность при этом достигнута довольно скромная — от 25 до 31% у разных участников — но это в любом случае выше случайного угадывания.
Авторы намерены усовершенствовать свою технологию, чтобы декодировать по мозговым волнам другие музыкальные характеристики, такие как темп и динамика, а также проверить, применимы ли аналогичные подходы к более сложной музыке, а не только к знакомым детским песенкам.
В перспективе эти результаты помогут разработать способы реконструкции воображаемой мелодии для людей без музыкального образования или даже для тех, кто не в состоянии вербализировать то, что звучит у них в голове — например, пациентов с боковым амиотрофическим склерозом.
