Создан робот с интеллектом, способным планировать и учиться в процессе работы
Ученые из Инженерной школы Тандона при Нью-Йоркском университете разработали алгоритм BrainBody-LLM, позволяющий роботам не просто выполнять команды, а самостоятельно планировать действия, корректировать движения на ходу и обучаться на основе обратной связи. Алгоритм предназначен для сложных и непредсказуемых условий, где традиционные роботы часто не справляются. Результаты работы опубликованы в Advanced Robotics Research.
До сих пор большинство систем робототехники ограничивались статическими планами или жестко запрограммированными действиями. Даже LLM, используемые для генерации команд, не учитывали физические возможности робота, что приводило к ошибкам. BrainBody-LLM устраняет эти ограничения, моделируя взаимодействие мозга и тела, аналогично человеку.
Два уровня управления
Система состоит из Brain LLM, отвечающего за стратегическое планирование, и Body LLM, который переводит высокоуровневые цели в точные команды для приводов, суставов и сенсоров. Робот постоянно отслеживает себя и окружающую среду, а при расхождении с планом сигнал об ошибке возвращается в Brain LLM, что позволяет корректировать действия в реальном времени.
«Главное преимущество BrainBody-LLM заключается в замкнутом цикле обратной связи, который обеспечивает динамическое взаимодействие между компонентами и позволяет выполнять сложные задачи надежно и безопасно», — отметил Винит Бхат, первый автор исследования.
Тестирование виртуально и в реальном мире
Алгоритм сначала проверяли в симуляции VirtualHome, где виртуальный робот выполнял бытовые задачи: перенос предметов, открытие дверей и уборку. BrainBody-LLM показал улучшение скорости выполнения задач до 17% и заметно снизил ошибки по сравнению с предыдущими методами.
Затем систему испытали на физической роботизированной руке Franka Research 3. Робот успешно манипулировал предметами различной формы и веса, корректировал траекторию движения в случае неожиданных препятствий и адаптировался к изменениям окружающей среды. Это демонстрирует, что алгоритм позволяет реальному роботу действовать гибко, а не просто повторять запрограммированные действия.
Почему это важно
BrainBody-LLM открывает новые горизонты для использования роботов в бытовых, медицинских и промышленных условиях. В больницах такие роботы смогут выполнять сложные операции с точностью, в домах — помогать людям с ограниченными возможностями, а на заводах — работать совместно с людьми, реагируя на непредсказуемые ситуации.
Алгоритм может быть интегрирован с 3D-камерой, датчиками глубины, тактильными сенсорами и системами распознавания объектов. Это позволит роботу ориентироваться в пространстве естественно и безопасно, избегать столкновений и точно манипулировать предметами. Исследователи планируют расширить набор сенсорных данных, включая визуальные, тактильные и аудио сигналы, чтобы улучшить адаптацию и планирование действий.
BrainBody-LLM также открывает путь к роботам, способным учиться на опыте: алгоритм может анализировать успешные и неудачные действия, корректируя стратегии для будущих задач. Это приближает нас к автономным роботам, способным безопасно работать в сложных, динамичных средах, взаимодействовать с людьми и принимать решения, которые раньше считались доступными только человеку.
Шаг к интеллектуальной робототехнике
Комбинация языковых моделей и управления телом делает робота гибким и адаптивным. По сути, алгоритм позволяет машине не только выполнять инструкции, но и понимать их физическую реализацию. Это фундаментально меняет подход к робототехнике, создавая новые возможности для медицинских, образовательных и промышленных приложений, где требуется точность, адаптивность и автономность.
«Наша работа показывает, что объединение моделей языка и контроля движения позволяет роботам мыслить и действовать почти как человек, адаптируясь к окружающей среде и обучаясь на опыте», — заключают авторы.
