Инженеры создали умный браслет для управления роботами жестами: видео
Инженеры Массачусетского технологического института (MIT) представили носимое устройство, которое с удивительной точностью отслеживает сложные движения кисти. Браслет фиксирует работу внутренних мышц, сухожилий и связок запястья, превращая эти данные в цифровую информацию, которая подробно описывает каждое движение пальцев и ладони. С его помощью можно не только изучать человеческую моторику, но и напрямую управлять движением роботов, точно повторяя все нюансы жестов.
«Мы считаем, что эта работа окажет непосредственное влияние и потенциально может заменить методы отслеживания движений рук носимыми ультразвуковыми браслетами в виртуальной и дополненной реальности. Это также может обеспечить огромные объемы обучающих данных для ловких человекоподобных роботов», — отметил профессор Сюаньхэ Чжао.
Как работает браслет
Обычные методы отслеживания движений рук имеют ограничения: камеры легко закрываются предметами, перчатки с датчиками ощущаются неудобно, а электромиография (ЭМГ) слишком шумна для точного считывания тонких движений.
Чтобы решить эти проблемы, команда MIT создала браслет с миниатюрными ультразвуковыми сенсорами. Он размером с умные часы и непрерывно сканирует внутреннюю анатомию запястья, создавая подробные изображения. Искусственный интеллект анализирует эти данные и сразу же определяет положение пальцев, как если бы «читая» натяжение нитей марионетки.
«Сухожилия и мышцы запястья подобны нитям, натягивающим марионетки, которыми являются ваши пальцы. Каждый раз, когда вы фиксируете состояние этих нитей, вы узнаёте состояние руки», — пояснил Гэнси Лу, один из разработчиков.
Для обучения алгоритма браслет использовал одновременно камеры и ультразвуковое сканирование. Система определяла, какие внутренние структуры отвечают за движения конкретного пальца. После этого ИИ мог мгновенно интерпретировать любые новые движения, не требуя ручного контроля.
Система была проверена на восьми добровольцах. Браслет с высокой точностью повторял разные жесты, включая 26 букв американского жестового языка и тонкие захваты объектов, таких как ножницы, мяч или карандаш. Устройство одинаково хорошо работает для людей с разной анатомией, превращая микродвижения сухожилий в точные цифровые команды.
Применение в виртуальной и дополненной реальности
В экспериментах браслет позволял управлять виртуальными объектами естественными жестами. Пользователи могли сжимать, тянуть или масштабировать объекты на экране, а роботизированная рука повторяла движения их пальцев в реальном времени. Добровольцы даже играли на виртуальном пианино или участвовали в настольной баскетбольной игре через роботизированную руку.
«Мы считаем, что это самый передовой способ отслеживания ловких движений рук с помощью носимых устройств для визуализации запястья», — сказал Чжао.
Будущее технологии
Исследователи видят в браслете перспективу для VR и AR, где точность и естественность движений критически важны. Кроме того, собранные данные можно использовать для обучения человекоподобных роботов сложным задачам, от хирургических операций до тонкой работы на производстве. Таким образом, браслет MIT соединяет мир человека и робота, позволяя роботам «чувствовать» и повторять деликатные движения с человеческой точностью.
