Семь колец с ИИ научились переводить язык жестов в текст: видео
По данным исследования, опубликованного в журнале Science Advances, ученые из Южной Кореи разработали носимую систему Wireless Ring Sign Language Translator (WRSLT), которая переводит язык жестов в текст с помощью 7 беспроводных колец с датчиками. Технология распознает жесты американского и международного языка жестов с точностью около 88%.
Почему проблема перевода жестов до сих пор не решена
Языки жестов представляют собой полноценные языковые системы со своей грамматикой и структурой, а не просто набор движений рук. Это создает сложность для автоматического перевода, особенно в реальном времени.
По оценкам Всемирной федерации глухих, в мире используется более 300 различных жестовых языков, что делает задачу универсального распознавания ещё сложнее.
Существующие решения в основном основаны на перчатках с датчиками или проводных системах. Они мешают естественной артикуляции, ограничивают подвижность пальцев и требуют калибровки под каждого пользователя, что снижает удобство повседневного использования.
Как работает WRSLT
Разработанная система получила название WRSLT (беспроводной кольцевой переводчик языка жестов). Она состоит из семи небольших колец, которые надеваются на пальцы одной руки или обеих рук в зависимости от задачи.
Каждое кольцо оснащено миниатюрным акселерометром — датчиком, который фиксирует ускорение и ориентацию в пространстве, аналогично тому, как смартфон определяет поворот экрана. Во время жестов система считывает положение пальцев относительно гравитации и траекторию движения руки.
Важная особенность — отсутствие проводов. Кольца передают данные по Bluetooth Multilink на смартфон или компьютер, что позволяет сохранять естественность движений и использовать систему без ограничений в пространстве.
Далее алгоритмы машинного обучения интерпретируют сигналы и преобразуют их в текст. По словам авторов работы:
«WRSLT обеспечивает перевод в реальном времени на уровне предложений, используя полностью беспроводную и модульную архитектуру, которая подходит для разных пользователей и языков жестов».
Что система уже умеет
На текущем этапе WRSLT распознает около 100 слов американского языка жестов (ASL) и 100 слов международного языка жестов (ISL). Разработчики подчеркивают, что система работает не только с отдельными словами, но и с последовательностями жестов, формируя связный текст в реальном времени.
Отдельное значение имеет модульность конструкции: кольца можно надевать в разной конфигурации, а система адаптируется под индивидуальные особенности пользователя.
Как проходило тестирование
Модель обучали на группе участников, после чего тестировали на новых пользователях, которые не участвовали в обучении. Это важно для проверки устойчивости алгоритма к различиям в стиле жестов, скорости движений и положении датчиков.
Результаты показали точность 88,5% для международного языка жестов и 88,3% для американского языка жестов. Разница между системами была минимальной, что указывает на сопоставимую эффективность распознавания.
Исследователи отмечают:
«Несмотря на различия между пользователями и положение датчиков, система показала высокую точность распознавания, что подтверждает ее устойчивую работу у разных людей и надежность подхода».
Следующий этап разработки включает миниатюризацию колец, улучшение энергоэффективности и расширение обучающей базы. Также планируется добавить больше языков жестов, чтобы приблизиться к универсальной системе перевода в реальном времени.
