Сбер запустил Green Challenge по управлению антропоморфным роботом

Sber Robotics запускает Green Challenge — соревнование в рамках AI Journey 2026. Участникам предстоит создать или дообучить модель управления антропоморфным роботом «Грин», первым антропоморфным роботом Сбера. Модель должна решать задачи мобильной манипуляции в цифровом симуляторе.

Что за задача

Модель управляет роботом, получая на вход данные трёх типов: RGB-изображения с трёх камер (одна в голове, две на запястьях) разрешением 448 × 448 пикселей, текстовую инструкцию с полной задачей сценария и описанием текущей атомарной подзадачи, а также проприоцептивное состояние робота — положения суставов и ориентацию корпуса. На выходе модель предсказывает целевые положения суставов, которые исполняет Whole-Body Controller (WBC), координирующий движения всего тела.

Сценарии представляют собой цепочки взаимосвязанных действий. Например, роботу необходимо поднять нужную руку, дотянуться до полки, взять предмет, перенести его и вернуть руку в исходное положение. Это не набор независимых навыков, а единая последовательность: ошибка на раннем этапе может каскадно повлиять на успешность всего эпизода.

Главный вызов

Первое естественное решение — собрать демонстрации работы робота и обучить на них модель методом клонирования поведения (behavior cloning). Однако именно здесь возникает главный вызов соревнования: устойчивость к состояниям вне обучающего распределения (out-of-distribution, OOD). Причина — расхождение между состояниями в демонстрациях и состояниями, в которые робот попадает при автономном выполнении задачи.

К такому расхождению приводят новые сочетания начальных положений робота и объекта, накопление ошибок исполнения, неточные траектории VLA-политики, недетерминированность расчёта динамики и контактных взаимодействий в симуляторе, а также ошибочные последующие действия из отклонившегося состояния. Модель должна не только воспроизводить демонстрации, но и корректировать действия по текущим наблюдениям, работать с OOD-состояниями и восстанавливаться после отклонений.

Что получает участник

Организаторы предоставляют полный набор инструментов. Среди них — открытая модель робота «Грин», симуляционная среда на основе NVIDIA Isaac Sim и Isaac Lab с готовыми сценами и интерфейсом управления (GreenSim), трёхмерные модели сцен (GreenChallengeAssets), набор данных для дообучения в формате LeRobot v2.1 (GreenChallengeData), а также базовая модель Green-VLA на 1,3 млрд параметров с открытыми весами, примерами запуска, инференса и обучения (GreenVLA, GreenChallengeModel).

Базовая модель — это отправная точка, а не ограничение. Участники могут дообучать Green-VLA, использовать собственные данные, изменять архитектуру модели и экспериментировать с подходами к обучению.

Набор данных

Датасет в формате LeRobot v2.1 содержит 24 055 эпизодов и 72 165 видеофрагментов — по одному с каждой камеры в эпизоде. Это 15,17 млн временных шагов, каждому из которых соответствуют изображения с трёх камер. Общая продолжительность траекторий — около 140,5 часа без суммирования длительности параллельных видеопотоков.

По происхождению данные делятся на три группы: скриптовые демонстрации (9 144 эпизода, ≈99,5 часа), Mimic — синтетическое расширение демонстраций (13 766 эпизодов, ≈38,2 часа) и непосредственная телеоперация (1 145 эпизодов, ≈2,7 часа). Скриптовые демонстрации составляют основную часть набора по длительности (около 71%), хотя по количеству эпизодов преобладают данные Mimic.