Инженеры создали 3D-камеру по образцу глаз паука-прыгуна

По материалам Северо-Западного университета (США) инженеры представили систему SpiderCam — компактную 3D-камеру, которая формирует карты глубины в реальном времени и при этом потребляет менее одного ватта энергии. Результаты также опубликованы на сервере препринтов arXiv.

Биологический принцип, лежащий в основе технологии

Идея возникла при изучении зрения пауков-скакунов. Эти членистоногие вынуждены точно оценивать расстояние до цели перед прыжком, несмотря на крайне ограниченные вычислительные ресурсы нервной системы.

Особенность их зрения заключается в многослойной структуре сетчатки. Каждый слой фиксирует изображение с немного отличающейся фокусировкой. В результате паук одновременно получает несколько версий одной сцены — резкую и слегка размытые — и использует разницу между ними для оценки глубины.

SpiderCam повторяет этот принцип в технической форме. Камера делает два снимка одной сцены с небольшим смещением фокуса. Затем алгоритм анализирует различия в резкости контуров и текстур, интерпретируя их как расстояние до объектов. Такой подход заменяет более ресурсоемкие методы стереозрения и активного сканирования.

Как устроена обработка изображения

Ключевой элемент системы — отказ от классических тяжелых вычислений на центральном процессоре. Вместо этого инженеры перенесли обработку на FPGA (программируемую логическую матрицу), которая позволяет выполнять специализированные операции параллельно и с минимальными затратами энергии.

Алгоритм фактически работает как преобразователь между «размытием» и глубиной. Он выделяет границы объектов, оценивает степень расфокусировки и строит трехмерную карту сцены в реальном времени.

В тестовом прототипе система достигает 32,5 кадра в секунду и потребляет около 624 милливатт. По словам разработчиков, это одна из первых пассивных 3D-камер на FPGA, работающих стабильно ниже порога одного ватта.

Ограничения традиционных 3D-систем

Обычные методы получения глубины основаны на двух подходах.

• Первый — стереозрение, где сравниваются изображения с разных ракурсов.
• Второй — активные системы, которые проецируют световые паттерны и анализируют их отражение.

Оба варианта требуют значительных вычислений или дополнительного энергопотребления. Это делает их менее подходящими для автономных устройств, особенно тех, которые должны работать от батареи длительное время.

SpiderCam избегает этих проблем за счет опоры на оптическую разницу фокусировки, а не на геометрию сцены или активное освещение.

Почему именно пауки-скакуны

По словам ведущего автора исследования Эммы Александер, пауки-скакуны представляют интерес для инженеров из-за сочетания точного зрения и минимальных биологических ресурсов.

«Пауки-скакуны прыгают, чтобы поймать добычу, избежать хищников и передвигаться, а для этого им необходимо отличное зрение. Но их мозг очень мал — размером с маковое зернышко, — поэтому им приходится вычислять расстояния максимально эффективно», — пояснила она. 

Исследователи обратили внимание, что биологическая система не стремится к идеальной реконструкции изображения. Вместо этого она решает более узкую задачу — оценку расстояния. Этот принцип и был перенесен в инженерную модель.

Возможные применения технологии

Разработчики рассматривают SpiderCam как основу для устройств, где критично низкое энергопотребление. Среди них — носимые гаджеты, автономные роботы, дроны и системы дополненной реальности.

Особый интерес вызывает применение в условиях, где невозможно постоянное питание или мощные вычислительные ресурсы. Например, в полевых датчиках или компактных устройствах навигации.За счет малых энергозатрат технология потенциально позволяет увеличить время автономной работы устройств без снижения точности восприятия пространства.

Команда планирует дальнейшую миниатюризацию системы. В частности, рассматривается создание специализированного чипа, который заменит FPGA и еще сильнее снизит энергопотребление.

По словам Эммы Александер, особый интерес представляют сценарии, где доступ к энергии ограничен или нестабилен.

«Например, ее можно использовать в полевых условиях с ограниченным электропитанием. Кроме того, это особенно перспективно для дополненной реальности, где важно точно понимать положение объектов вокруг пользователя», — отметила она.

Инженеры создали уникального робота в форме морского ежа

Крылья робота-бабочки привели в движение микронасосом на жидком металле — видео