Умные часы научились считывать положение пальцев
Наверное, не будет преувеличением сказать, что словосочетание «искусственный интеллект», употребляемое по поводу и без, уже набило оскомину. Но именно алгоритмы машинного обучения легли в основу новой технологии, воспользовавшись которой, можно уверенно заявить: будущее наступило.
Корейские и американские ученые разработали акустический радар для умных часов, который отслеживает движения пальцев руки. Система под названием WatchHand описана в препринте на arXiv и будет представлена на конференции ACM CHI по человеко-компьютерному взаимодействию в Барселоне.
«В будущем с помощью подобной технологии отслеживания пальцев мы, возможно, сможем набирать текст, используя только смарт-часы — то есть наши руки могут стать устройством ввода для компьютеров», — говорит аспирантка Чи-Джон Ли из Корнеллского университета, одна из авторов работы.
Помимо управления жестами, прямым применением WatchHand может стать поддержка вспомогательных технологий для людей с ограниченной подвижностью или речью, а также использование в качестве контроллера в средах дополненной и виртуальной реальности.
Но самое главное — в другом. В отличие от аналогичных систем, новинка не требует никакого дополнительного оборудования — ей достаточно встроенных в часы динамика и микрофона.
WatchHand — настоящий прорыв, без ложной скромности заявляет аспирант в KAIST Чиван Ким, соавтор исследования. «WatchHand предельно упрощает отслеживание поз кисти. Если в устройстве есть хотя бы один динамик и один микрофон — на нем можно запустить нашу систему», — уверяет он.
Как это работает
WatchHand использует штатные микрофон и динамик обычных смарт-часов. Когда система активна, динамик излучает неслышимые звуковые волны, которые отражаются от кисти и возвращаются в микрофон, создавая эхо-профиль — своего рода акустический «слепок». Алгоритм машинного обучения анализирует этот профиль и в реальном времени восстанавливает трехмерную форму кисти. Данные о положении кисти и их обработка происходят локально на часах, поэтому личная информация никуда не передается.
WatchHand протестировали с участием 40 добровольцев в четырех испытаниях, собрав в общей сложности около 36 часов данных о жестах. Систему проверили на разных моделях смарт-часов, на правой и левой руке, в условиях шума — и она стабильно отслеживала движения пальцев и вращения запястья.
Впрочем, авторы признают, что их детище пока далеко от идеала. Прежде всего, система работает только на часах под управлением Android — iOS пока не поддерживается. Кроме того, хотя WatchHand хорошо справляется с шумной обстановкой, у нее возникают проблемы с распознаванием поз кисти, если пользователь, например, идет пешком.
Лаборатория, где создается будущее
«WatchHand — яркий пример основного направления нашей работы: превращать обычные носимые устройства в интеллектуальные платформы, способные распознавать поведение человека», — подчеркивает доцент из Корнелла Чэн Чжан, возглавляющий лабораторию SciFi Lab.
Эта лаборатория использует машинное обучение и ИИ для создания технологий, которые «считывают» данные, порождаемые нашими движениями, и извлекают из них смысл. Там уже разрабатывали и настраивали датчики для отслеживания запястья, кисти, языка, лица, тела и даже зубов. Технологии встраивали в кольца, очки, ожерелья, наушники и даже вшивали в швы одежды. В последние годы лаборатория переключилась на акустическое зондирование в носимых устройствах из-за его точности и низкого энергопотребления.
«Одним лишь обновлением программного обеспечения мы можем дать новые возможности миллионам уже существующих устройств», — заключает Чжан.
