В Китае создали «мозг» для роботов, предсказывающий последствия действий: видео

Как сообщает Robbyant, подразделение китайской Ant Group в области воплощенного ИИ, компания представила модель LingBot-VA 2.0. Ее называют первой в отрасли моделью, созданной специально для роботов: она не адаптирована из систем генерации видео, а разработана с нуля для работы в физическом мире.

В чем разница с прежним подходом

Большинство существующих систем воплощенного ИИ строят на видеомоделях, которые изначально разрабатывали для генерации цифрового контента — то есть для создания красивых картинок и роликов. Такие модели хороши в реалистичности изображения, но не в физической точности и скорости исполнения действий. Как отмечают в Robbyant, при адаптации подобных систем под управление роботами страдает и способность модели обобщать опыт на новые ситуации, и реальная производительность в физическом мире.

LingBot-VA 2.0 пошла другим путем — ее обучили с нуля именно на задачах из физического мира, а не «докрутили» под них уже готовую видеомодель. В основе лежит авторегрессионная архитектура — это значит, что система строит предсказания шаг за шагом, каждый раз опираясь на предыдущий результат. Модель прогнозирует, как действия робота изменят окружающую обстановку, и на основе этих причинно-следственных связей выбирает следующее действие.

Четыре технических новшества

Разработчики выделяют четыре ключевых архитектурных решения.

• Первое — семантический визуально-действенный токенизатор, который совместно сжимает визуальную информацию и данные о действиях, помогая модели точнее переводить словесные инструкции в конкретные движения робота.
• Второе — строгая причинная стратегия предобучения, которая следит, чтобы предсказания шли в правильном временном порядке, не перепрыгивая и не путая последовательность событий.
• Третье — архитектура Mixture of Experts, «смесь экспертов», при которой модель состоит из множества специализированных «под-моделей», и для каждой задачи включаются только нужные из них. Это увеличивает общие возможности системы, не замедляя при этом скорость ее работы.
• Четвертое — усовершенствованный асинхронный механизм вывода, который позволяет роботу одновременно предсказывать будущие состояния и выполнять текущие действия, постоянно корректируя решения на основе реальных наблюдений.

По словам компании, все эти решения вместе позволяют управлять роботом в реальном времени с частотой 150 герц на одной видеокарте — то есть система обновляет свои решения 150 раз в секунду. Модель также способна освоить новую задачу манипуляции всего по 20 демонстрациям, используя обучение в контексте — без необходимости заново настраивать параметры самой сети.

Как система принимает решения

LingBot-VA объединяет предсказание будущего видео и обучение стратегии поведения в единой авторегрессионной модели — она одновременно учится понимать визуальную динамику происходящего и связанные с ней действия робота. Сначала модель проходит предобучение на большом массиве видео и данных о действиях роботов, а затем донастраивается под конкретные прикладные задачи.

В работе система сначала предсказывает, как будет выглядеть картина мира в будущем, опираясь на текущие наблюдения и словесную инструкцию. Затем обратная динамическая модель превращает эти предсказания в конкретные исполняемые действия робота, а реальные наблюдения постоянно замещают предсказанные состояния — так цикл управления не отрывается от реальности.

Что уже умеет робот

Robbyant продемонстрировала модель на длинных и требующих точности задачах — приготовление завтрака, распаковка доставленных посылок, вставка трубок, поднятие винтов, складывание одежды и открывание ящиков. Компания также сообщила о хороших результатах на симуляционных тестах RoboTwin 2.0 и LIBERO, где модель обошла существующие методы в целом ряде сценариев.

Отдельно в компании отметили способность LingBot-VA сохранять долговременную память — это позволяет роботу отличать визуально одинаковые, но по сути разные ситуации и корректно выполнять многошаговые задачи, которые требуют счета, соблюдения последовательности действий и повторяющихся операций.

«Robbyant продолжит исследовать новые границы воплощннного интеллекта, одновременно ускоряя развитие открытой технологической и прикладной экосистемы, чтобы быстрее внедрять роботов в промышленные и реальные сценарии», — заявил в свонм комментарии генеральный директор Robbyant Чжу Син.