Создан ИИ, который учит играть на пианино, видя руки и слушая музыку: видео
Самостоятельно освоить фортепиано непросто. Большинство учебных приложений умеют лишь распознавать сыгранные ноты и подсказывать ошибки. Но они не видят, как именно движутся руки, в каком положении находятся пальцы и почему тот или иной пассаж дается с трудом.
Именно этим обычно и ценны живые преподаватели. Они замечают неправильную посадку, напряжение в кистях или неудачную аппликатуру. Проблема в том, что такие уроки проходят редко, обычно один-два раза в неделю. В моменты, когда появляется желание заниматься, помощи рядом может не оказаться.
Компания ROLI предложила решение в виде «музыкального тренера» на базе искусственного интеллекта. Система не только слушает игру, но и наблюдает за руками, давая советы в реальном времени. Первой платформой для этой технологии станет обучение игре на фортепиано с новым устройством.
Камера вместо учителя
В основе системы лежит инфракрасная камера, которая отслеживает движения обеих рук. Она фиксирует 27 ключевых точек на руках, чтобы точно понимать положение пальцев и жесты и делает это со скоростью до 90 кадров в секунду.
Такой подход позволяет анализировать не только правильность нот, но и технику. Алгоритм оценивает положение пальцев, плавность движения и общую осанку. Это похоже на то, как преподаватель смотрит на ученика сбоку и замечает, где возникает лишнее напряжение.
Уроки, которые подстраиваются под ученика
Поверх системы отслеживания движений работает интерактивное приложение. Пользователь может задавать вопросы, получать подсказки и менять режим занятий.
Уроки не следуют жесткому сценарию. Темп и сложность автоматически корректируются в зависимости от того, что система слышит и видит в данный момент. Обратная связь поступает сразу, без задержек, как на занятии с педагогом.
Этот подход отличает технологию от большинства музыкальных приложений, которые ориентируются только на данные MIDI и заранее заданные упражнения. Здесь анализируются реальные движения рук, поэтому система способна обнаружить технические проблемы, которые не видны по одним нотам.
Цифровой помощник, а не замена педагогу
Разработчики считают новую систему логичным продолжением своих предыдущих продуктов. По их задумке, ИИ не должен заменять живых преподавателей.
Его роль — быть доступным помощником, который всегда под рукой. Система поддерживает более 40 языков и не требует умения читать ноты. По данным компании, ее уже тестируют как новички, так и профессиональные музыканты.
Публичную бета-версию планируют запустить в ближайшие месяцы. В ROLI подчеркивают, что ИИ-тренер — это не «легкий путь» в обучении, а инструмент для более точной обратной связи. Он подстраивается под особенности каждого ученика, вместо того чтобы заставлять всех идти по одной и той же программе.
