Новая система позволяет почувствовать то, что чувствует робот: видео

Исследователи из лаборатории KIMLAB (Kinetic Intelligence Machine LAB) представили платформу PARPLE — модульную среду для управления роботизированными конечностями, которая предлагает обратную связь в реальном времени и позволяет гибко переключаться между устройствами управления. PARPLE расшифровывается как Plug-and-Play Robotic Limb Environment — «подключи и управляй»: система позволяет управлять роботами, используя разные типы интерфейсов, от VR-шлемов до джойстиков.

Как это работает

Ключевая особенность системы — модульность. Она позволяет подключать к роботу разные типы «рук» (или манипуляторов) и управлять ими через различные устройства: игровые контроллеры, VR-интерфейсы (например, Meta Quest 2 или Apple Vision Pro), специализированные кукловоды или даже гуманоидные роботы, такие как Unitree G1. Управление можно адаптировать под разные задачи, конфигурации и стили движения.

В системе используются два компонента:

• устройство управления (например, VR-контроллер или кукловод — механическая рука, которую двигает человек);

• робот-исполнитель — это и есть сама роботизированная конечность, которая повторяет движения.

Если устройство управления и робот устроены одинаково (имеют схожую «анатомию» и количество суставов), система работает в режиме совместного пространства: движения копируются напрямую, сустав к суставу. Например, если вы сгибаете «локоть» на управляющем устройстве, точно такое же движение выполнит и робот.

Если же устройства сильно отличаются по конструкции, включается режим управления в рабочем пространстве: робот просто старается воспроизвести итоговое положение руки — например, куда вы хотите «переместить» кончик манипулятора, не копируя каждое движение точно.

Обратная связь в реальном времени

PARPLE умеет передавать тактильную обратную связь, усиливая эффект «присутствия» и контроль над роботом. Это реализуется двумя способами:

• внутренняя обратная связь — если устройство управления отклоняется от заданной пользователем позы, оно начинает сопротивляться, помогая избежать неудобных положений (например, переразгибания сустава или опущенного локтя).

• внешняя обратная связь — если робот сталкивается с препятствием или достигает физического предела, пользователь чувствует сопротивление — это сигнал о том, что дальше двигаться нельзя.

Система PARPLE действительно позволяет человеку ощутить сопротивление и ограничения, с которыми сталкивается роботизированная конечность, хотя это не «осязание» в полном смысле слова (как, например, текстура или температура), а силовая обратная связь.

Гибкость и потенциал

Система не требует строго совместимых конфигураций — вы можете управлять, скажем, трехсуставной рукой при помощи контроллера с двумя степенями свободы, а PARPLE «переведет» команды в нужный формат. Это дает исследователям возможность экспериментировать, собирать данные для обучения ИИ и быстро менять сценарии управления без полной перенастройки оборудования.

По мнению разработчиков, PARPLE — важный шаг к созданию более интуитивных систем телеуправления и адаптивной робототехники. В будущем такая технология может использоваться в реабилитации, производстве, исследовательских миссиях и даже в повседневной помощи людям с ограниченной подвижностью.