Дополнительный роботизированный палец сделал руку более умелой — видео
Многие повседневные действия мы выполняем обеими руками. Например, чтобы открыть бутылку, надо одной рукой взять ее, а другой отвернуть крышку. В Калифорнийском университете в Сан-Диего разработали дополнительный большой палец, который упрощает подобные задачи.
Устройство под названием EgoThumb описано в препринте на arXiv. Оно представляет собой роботизированный манипулятор-палец с автономным управлением. Оборудованный широкоугольной камерой и искусственным интеллектом, он сам принимает решения о движении.
«Идея возникла при пайке проводов. В работе с паяльником, подачей припоя, нанесением флюса, удержанием проводов и разъемов я часто чувствовал, как мне не хватает еще одной руки. Даже с "третьей рукой" (специальный штатив-держатель. — Прим. ред.) все это очень неудобно. Тогда я и задумался: а что если носимый роботизированный палец будет придерживать предметы, освобождая мои собственные пальцы для работы?» — рассказал один из первых авторов статьи Цзявэй Фу.
Разработчики сразу решили по максимуму автоматизировать дополнительный палец, чтобы пользователь не отвлекался на управление им.
«Мы хотели, чтобы помощь происходила без необходимости явно командовать каждым движением. Пайку еще не пробовали — в этом исследовании мы изучаем базовую способность на более простых задачах, например удержать бутылку, пока откручивается крышка. Пайка остается одним из практических применений, к которым я надеюсь прийти», — пояснил инженер.
Роботизированный палец EgoThumb имеет три сустава, каждый приводится в движение парой тросов — один на сгибание, другой на разгибание. Небольшие двигатели, выполняющие роль мышц, закреплены на предплечье, так что их вес не нагружает кисть.
Компактная камера — «рыбий глаз» установлена рядом с ладонью. Она непрерывно снимает руку пользователя, роботизированный палец и окружающие предметы. Данные обрабатывает нейросеть — в прототипе она ресурсоемкая и запущена на внешнем компьютере.
Тесты с участием демонстратора и двух новых пользователей
«Мы обучили модель ИИ на демонстрациях человека — этот подход называется имитационным обучением. Чтобы собрать обучающие демонстрации, человек управлял роботизированным пальцем через ножной интерфейс. После обучения модель предсказывает движения пальца напрямую по изображениям с камеры и текущим положениям суставов, не требуя от пользователя явных команд», — подчеркнул Фу.
Прототип протестировали в лабораторных экспериментах с участием трех человек: один — демонстратор, на действиях которого обучался ИИ, двое других — незнакомые системе пользователи. С помощью лишнего пальца они выполняли четыре простых задачи:
- взять кубик,
- открутить крышку бутылки,
- помешать чай,
- переложить шарик с одного места на другое,
и все это — одной рукой.
«Самым важным нашим результатом я считаю, что EgoThumb учится согласовывать действия с человеческой рукой, не требуя от пользователя явных команд на каждый захват. В 10 испытаниях на задачу для каждого пользователя и предметах в тех же зонах, что и при обучении, средняя успешность по четырем задачам составила 90% для демонстратора и 92,5% и 87,5% для двух новых пользователей», — уточнил разработчик.
В отдельном тесте на помешивание чая успешность в среднем составила около 67% и 73% у трех пользователей в двух ранее не встречавшихся условиях соответственно. В некоторых задачах результаты ухудшались, когда экспериментаторы расширяли зоны, где предметы изначально находились или куда их нужно было поместить.
Что дальше
«Автономность на основе машинного зрения способна сделать носимые роботизированные расширения более естественными и интуитивными. Вместо того чтобы заставлять человека сознательно управлять дополнительным пальцем, робот может помогать, исходя из контекста действий. Мы рассматриваем это как шаг к носимым роботам, которые расширят ловкость человека в повседневной жизни», — заключил Фу.
По его словам, в перспективе камеру встроят внутрь пальца и оснастят манипулятор осязанием.
