GPT-6 Astra напрямую подключили к роботу для уборки кухни
Исследователи из Стэнфорда и Caltech представили HomeBody — систему, в которой GPT-6 Astra напрямую управляет роботом Unitree G1. Робот ориентируется на незнакомой кухне, убирает предметы и достаёт вещи из ящиков.
- HomeBody исключает промежуточный слой управления: VLM GPT-6 Astra напрямую вызывает навыки захвата, навигации и открывания ящиков.
- Робот Unitree G1 сначала исследует комнату, строит цифровой двойник в Nvidia Isaac Sim и ведёт пространственную память объектов.
- Ограничения: задержка Astra, перегрев сервоприводов пальцев и высокая вычислительная стоимость.
Исследователи из Стэнфорда и Caltech построили HomeBody — систему, которая позволяет роботу Unitree G1 автономно ориентироваться на незнакомой кухне, убирать предметы и доставать вещи из ящиков. В основе системы — языковая модель GPT-6 Astra, которая управляет роботом напрямую, без традиционного обученного слоя контроля.
Вместо промежуточного контроллера сменная vision-language модель (VLM), в данном случае GPT Astra, вызывает навыки из расширяемой библиотеки: захват, навигацию, открывание ящиков. Сначала робот исследует комнату, строит цифровой двойник в Nvidia Isaac Sim и записывает объекты и их местоположение в пространственную память. Это позволяет находить предметы, даже когда они вне поля зрения. Для задач вроде «убери на кухне» языковая модель планирует каждый шаг и исправляет ошибки самостоятельно.
Разработчики отмечают ограничения: задержку Astra, перегрев сервоприводов пальцев и высокие вычислительные затраты. Код доступен на GitHub. Ранее бенчмарки показали значительное улучшение пространственного мышления Astra, а другой тест выявил проблемы безопасности при управлении роботом. OpenAI уже объявила о планах вернуться в робототехнику, в том числе для персонального использования.
Для профиТехнические детали: архитектура, цифры, ссылки
HomeBody отказывается от обученного слоя контроля между языковой моделью и роботом. Вместо этого сменная VLM (GPT Astra) напрямую вызывает расширяемую библиотеку навыков: захват, навигация, открывание ящиков. Робот Unitree G1 сначала исследует помещение, строит цифровой двойник в Nvidia Isaac Sim и ведёт пространственную память объектов. Для задач вроде «clean up the kitchen» модель планирует шаги и самокорректируется при ошибках. Ограничения: задержка Astra, перегрев сервоприводов пальцев, высокие вычислительные затраты. Код на GitHub. Ранее бенчмарки показали улучшение пространственного мышления Astra, другой тест выявил проблемы безопасности при управлении роботом.
Вопросы и ответы
- Что такое HomeBody?
- Система, которая позволяет роботу Unitree G1 автономно убирать незнакомую кухню под управлением GPT-6 Astra.
- Какие ограничения у системы?
- Задержка Astra, перегрев сервоприводов пальцев и высокие вычислительные затраты.
- Где доступен код HomeBody?
- Код опубликован на GitHub.
