Создан робот для поиска потерянных в доме вещей

IEEE RA-L: робот с ИИ ищет на 30% лучше, чем если бы он действовал наугад
Оснащенный ИИ, он знает, где лучше искать потерю.
Sora AI

В Мюнхенском техническом университете создан робот для поиска в помещении потерянных вещей. Для своей эффективной работы он применяет знания, почерпнутые из интернета, в сочетании с пространственной картой окружающей обстановки.

Разработка лаборатории Learning Systems and Robotics Lab профессора Ангелы Шёллиг описана в журнале IEEE Robotics and Automation Letters. Робот выглядит как швабра на колесах с камерой наверху.

Чтобы найти, скажем, очки, забытые на кухне, роботу необходимо осмотреться и построить трехмерную карту помещения. Камера изначально дает двухмерные изображения, но каждый пиксель содержит информацию о глубине. Так строится пространственная карта окружающей среды с точностью до сантиметра, которая постоянно обновляется. Кроме того, встроенный компьютер распознает объекты на изображении и оценивает их значение для человека.

«Мы научили робота понимать свое окружение», — говорит профессор.

Своей целью она видит создание роботов, способных самостоятельно ориентироваться в любых условиях. Человекоподобным роботам на заводах или роботам в сфере ухода в частных домах необходимо это новое фундаментальное понимание, которое, по мнению Шёллиг, «важно для всех роботов, работающих в пространствах, которые постоянно меняются».

Знания из интернета

робот для поиска вещей
Фото: Andreas Schmitz/TUM

Робот, таким образом, понимает, что стол или подоконник — подходящее место, чтобы оставить там очки, а вот плита или раковина для этого не годятся.

«Языковая модель улавливает взаимосвязи между объектами, а мы преобразуем эту информацию на язык, понятный роботу», — объясняет исследовательница.

На трехмерной карте местности появляются двузначные числа, постоянно пересчитывающие вероятность нахождения искомого объекта в данной точке. Испытания показали, что робот исследует вероятные места почти на 30% эффективнее, чем если бы он действовал наугад по всей комнате. Искусственный интеллект используется двумя способами: в распознавании изображений и в работе языковой модели.

Еще одна особенность робота: он запоминает предыдущие изображения и способен сравнивать их с новыми снимками окружения. Если на кухне внезапно появляется новый предмет, он распознает это изменение с высокой степенью точности (95%) и помечает эти зоны как «наиболее вероятные» для поиска.

Что дальше

В дальнейшем разработчики намерены научить свое детище искать предметы, спрятанные в ящике или за дверцей. Для этого роботу придется не просто использовать знания из интернета, но и взаимодействовать с окружающей средой. Руки-манипуляторы должны будут открыть шкаф, определить, открывается ли он вверх или в сторону, и как лучше всего взяться за ручку. Это позволит роботу вести поиск даже в закрытых пространствах — шкафах и ящиках.

Подписывайтесь и читайте «Науку» в Telegram