Человек и робот сыграли дуэтом на фортепиано в реальном времени: видео

Музыкальный робот, способный играть на фортепиано вместе с человеком, получил награду на конференции «Центр искусственного интеллекта, вдохновленного человеком» 2024 года в Сан-Франциско.

Хуэйцзян Ван, аспирант Кембриджского университета, представил свою разработку — «Harmony Robot». Робот использует специальную антропоморфную руку для игры на фортепиано, повторяющую игру человека. Исследование, описанное в журнале робототехники IEEE Xplore, продемонстрировало точность прогнозирования аккордов до 93%.

Система Harmony Robot анализирует мелодию, исполняемую человеком, с помощью алгоритмов ИИ в реальном времени и подбирает соответствующий аккомпанемент. Адаптивный контроллер создает плавную синхронизацию, благодаря чему игра человека и робота выглядит слаженной. Роботизированная рука может двигаться как вертикально, ударяя по клавишам, так и горизонтально, играя разные аккорды.

«Наш робот “слушает” мелодию и использует методы машинного обучения для подбора аккордов, сохраняя гармоничность музыки», — отметил главный разработчик Хуэйцзян Ван. Он также подчеркнул, что робот синхронизируется с исполнителем и подстраивается под его такт.

По словам соавтора исследования Фумии Ииды, они стремятся создавать роботов, способных интерпретировать эмоциональные сигналы и участвовать в художественных и развлекательных представлениях.