3.8 Часть 3 · Foundation-модели для роботов

От π0.5 до π0.7: незнакомый дом и длинные задачи

В уроке 3.6 π0 складывала бельё и собирала коробки после дообучения на записях именно этих задач, а уборку стола ей диктовала по шагам отдельная модель. В чужом доме всё другое: посуда, мебель, свет, — а просьба «убери кухню» растягивается на 10–15 минут и десятки движений. π0.5 (Physical Intelligence, 2025) учили на смеси очень разных данных: записи мобильных роботов в домах — около 400 часов примерно в 100 домах — это всего 2,4% примеров первого этапа, остальное дали другие роботы, картинки из интернета с подписями и записи, где шаги задачи названы словами. Модель сама говорит, что делать дальше, и делает это, и в трёх домах, которых не было в обучении, убирала кухню и спальню. Следующие модели той же компании научились улучшаться на собственных попытках (π*0.6, 2025) и слушаться подробных подсказок о том, что делать, как быстро и как аккуратно (π0.7, 2026). Разберём, что из этого даёт работу в новом доме, что — длинные задачи и как одна модель учится и словам, и движениям, не теряя одно ради другого.

≈ 55 минут2 лаборатории, схема, интерактив и квизмиссии с целью

УБОРКАСравни на одном столе две политики: одна по команде «убери со стола» сразу двигает руку, другая сначала говорит словами, какой предмет и куда нести

ДОМАРаздай одни и те же 96 записей по 1–96 домам с разными скатертями и проверь модель в 16 домах, которых она не видела

СХЕМАПосмотри, как обучение новой части модели портит то, что модель зрения и языка знала о мире, и как этому мешают

ОСЬРазложи по моделям от π0 до π0.7, что добавила каждая

Начать урок ↓

1 Новый дом

Робот из лаборатории попадает в чужой дом

Робота, обученного на кухнях лаборатории, привозят в обычную квартиру. Тарелки другой формы, ящики открываются иначе, свет падает с другой стороны, на столе лежит то, чего он никогда не видел. И просят его не «возьми чашку», а «убери кухню»: это десятки движений в правильном порядке, и ни одно из них в команде не названо.

Обе трудности уже встречались. В уроке 3.1 RT-1 в настоящей офисной кухне, где другие стойки, свет и предметы, выполнил 70% задач, хотя учился в «классе роботов» — кухне, собранной для сбора данных. В уроке 3.4 смесь данных 22 роботов часто давала положительный перенос: модель на общей смеси работала лучше, чем обученная только на данных своего робота. В уроке 2.3 длинную просьбу разбивала на навыки языковая модель SayCan, но навыки и планировщик учились порознь. В уроке 3.6 π0 после постобучения складывала бельё, а уборку обеденного стола ей диктовала по шагам отдельная модель зрения и языка: «возьми салфетку», «выбрось салфетку».

π0.5 (Physical Intelligence, апрель 2025) ставит обе задачи сразу. Авторы пишут, что впервые система, обученная целиком из данных, выполняет длинные и тонкие задачи вроде уборки кухни или спальни в домах, которых нет в обучении. Длительность таких задач — от 10 до 15 минут. Обобщение здесь значит именно это: модель работает там, где для неё не записали ни одной демонстрации.

Записать робота в каждом доме мира невозможно. Откуда тогда модели знать, как устроен чужой дом?

2 Данные

Ко-обучение: записи нужной задачи — малая часть данных

Записей мобильных роботов, которые убирают в настоящих домах, у авторов было около 400 часов примерно в 100 домах. Для одной модели это мало, и они дополнили их всем, что хоть как-то относится к делу. Ко-обучение (co-training) — обучение одной модели сразу на нескольких видах данных и задач в общей смеси. В уроке 3.3 RT-2 так дообучали на действиях вместе с веб-данными, чтобы не забыть знания о мире. У π0.5 видов данных шесть:

MMМобильные роботы в домах: около 400 часов, около 100 домов. Ровно та задача, которую проверяют.

MEНеподвижные одно- и двурукие роботы в ещё большем числе домов: обстановка разнообразнее, но тело другое.

CEЛабораторные записи разных роботов на простых столах и открытый набор OXE из урока 3.4.

HLТе же записи, где каждый шаг подписан словами: «возьми разделочную доску», «поправь подушку». Модель учится называть следующий шаг.

WDВеб-данные: подписи к картинкам, вопросы и ответы о картинках, поиск предмета на картинке.

VIСловесные инструкции: человек ведёт уже обученного робота, говоря ему шаг за шагом, что делать. Около 11% примеров верхнего уровня.

Шесть источников данных π0.5 из раздела IV-C статьи. Объёмы ME, CE и веб-данных в часах авторы не приводят.

На первом этапе 97,6% примеров — не записи мобильных роботов в домах. Каждый источник учит своему: ME — разнообразию обстановки, CE — движениям и захватам на многих телах, веб-данные — названиям и свойствам предметов, подписи шагов — тому, как длинная задача складывается из коротких.

Учат модель в два этапа. Первый, предобучение, — 280 тысяч шагов обучения на всей смеси, и действия там записаны токенами FAST из урока 3.6: так модель учится быстрее. Второй, постобучение, — ещё 80 тысяч шагов на записях домов, где отобраны успешные эпизоды не длиннее порога, вместе с веб-данными, подписями шагов и словесными инструкциями. На втором этапе к модели добавляют эксперт действий на flow matching, как у π0: 300 млн параметров, 10 шагов flow, пачка из 50 действий. Цели движений отдаются 50 раз в секунду.

На подписях шагов модель учится сама говорить, что делать дальше, и это меняет то, как она выдаёт действия. Как это устроено?

3 Подзадачи

Сначала подзадача словами, потом действия

Команда «убери кухню» не говорит, что делать прямо сейчас. Если модель получает её и сразу выдаёт пачку действий, ей приходится внутри себя решать сразу две задачи: что дальше по смыслу и как это сделать руками.

π0.5 разделяет их явно. На каждом шаге вывода модель сначала пишет текстом подзадачу (subtask) — короткую команду, которая выполняется за несколько секунд, например «возьми разделочную доску». Потом та же модель выдаёт пачку действий, и действия зависят только от подзадачи, а не от исходной просьбы:

\pi(a, \hat\ell \mid o, \ell) = \pi(a \mid o, \hat\ell)\; \pi(\hat\ell \mid o, \ell),

где $o$ — картинки и состояние робота, $\ell$ — просьба человека, $\hat\ell$ — подзадача, которую модель назвала сама, $a$ — пачка действий. Такую политику называют иерархической: верхний уровень решает, что делать, нижний — как. Политику, которая из просьбы сразу выдаёт действия, будем называть плоской.

Раньше уровни строили из двух моделей: в уроке 2.3 языковая модель выбирала навыки, в уроке 3.6 модель зрения и языка диктовала шаги π0, в уроке 3.7 Gemini Robotics-ER давала инструкции VLA. У π0.5 оба уровня — одни и те же веса. Авторы объясняют, зачем нужны два уровня: нижний пользуется записями действий любых роботов, включая неподвижных в других домах, а верхний — подписями шагов, веб-данными и словесными инструкциями. Короткая подзадача «положи тарелку в мойку» встречается в данных многих роботов, а целая уборка именно этой кухни — нигде.

Проверим, что это даёт, на столе Ады.

🔬 Лаборатория 1

Плоская и иерархическая политика убирают стол

Ада — домашний гуманоид на колёсной базе, на котором построены лабораторные работы курса. Подробнее о ней — в уроке 0.1.

Ада убирает стол. На нём четыре предмета разных цветов: игрушки — кубики и мячи — нужно положить в ящик, посуду — миски и банки — в мойку. Одно действие — где взять предмет, клетка сетки 24 × 24, как в уроке 2.1, и куда его положить: в ящик или в мойку. Стол убран, если на нём ничего не осталось и всё лежит на своих местах.

Модель действий здесь одна — карта «где взять» из урока 2.1: фильтр 5 × 5 клеток по картинке стола, к которому каждое слово команды добавляет свою поправку, и отдельные поправки для ящика и мойки. Она учится на 160 записях коротких команд из других задач вроде «положи синий мяч в мойку» — куда класть, там сказано в самой команде, — и на 8 записях длинной задачи «убери со стола», где оператор убирал предметы в случайном порядке, а каждый шаг потом подписали словами.

Плоская политика передаёт модели действий команду «убери со стола» и сразу получает действие. Иерархическая сначала называет подзадачу словами, например «положи синюю миску в мойку», и модель действий получает только её, как в π0.5. Названия предметов на столе верхний уровень получает готовыми: это то, что модель зрения и языка знает из веб-данных, как в уроке 3.2. Учится он только выбирать, какой предмет следующий и куда его нести, — по тем же 8 записям. Обе политики обучаются здесь же, в браузере, меньше чем за секунду.

Плоскаякоманда сразу в действие

Иерархическаясначала подзадача словами

Вид на стол сверху; стол — 96 × 96 пикселей, около 48 × 48 см, тонкая сетка — клетки действий. Сцена одна и та же для обеих политик. Под столом — ящик для игрушек (слева) и мойка (справа). Значки руки Ады, пути и ошибок — в легенде.

Легенда: значки на сцене

Стол1

Записей длинной задачи

Плоская: шаги

Иерархическая: шаги

Под капотом: модель действий, верхний уровень и почему плоская путает цвета

Модель действий. Для каждой клетки $i$ сетки берётся окно 5 × 5 клеток по трём цветам, $x_i$ — 75 чисел минус цвет пустого стола. У каждого слова команды $t$ — поправка к фильтру $w_t$ , общая для обоих мест, поправки $w_{t,c}$ для ящика и мойки и сдвиги $b_{t,c}$ . Счёт пары «клетка $i$ , место $c$ » при команде $T$ :

\begin{gathered} s(i, c) = \Bigl(w_0 + \sum_{t \in T} (w_t + w_{t,c})\Bigr)^{\!\top} x_i + \sum_{t \in T} b_{t,c}, \\ p(i, c) = \operatorname{softmax}_{i, c}\, s(i, c). \end{gathered}

Softmax берётся по всем 576 × 2 парам, действие — пара с наибольшей вероятностью. Учится модель перекрёстной энтропией, 150 шагов Adam по 32 примера. Каждый шаг длинной задачи даёт два примера: с подзадачей словами и с командой «убери со стола». Модель одна, и обе политики используют одни и те же веса; разница только в том, какие слова они ей отдают.

Верхний уровень. Предмет описан словами: цвет (одно из шести) и форма (одна из четырёх). Для каждой пары «предмет на столе, место» счёт — скалярное произведение весов места на эти признаки, дальше softmax по всем парам. Он учится по 32 подписанным шагам из 8 записей. Правило «миска — в мойку» в словах живёт в одном признаке формы, и цвет ему не мешает.

Почему плоская путает. Чтобы понять, игрушка это или посуда, плоской политике нужно отличить по пикселям миску от мяча, а у линейного фильтра отклик на форму зависит от цвета так же сильно, как от самой формы. По 32 шагам она выучила смесь формы и цвета. На 200 новых столах она несёт в мойку синий мяч в 100% случаев, синий кубик — в 97%, фиолетовый мяч — в 87%, а жёлтую миску в ящик — в 74%. Красные, зелёные и оранжевые игрушки она кладёт верно почти всегда.

Где упрощено. В π0.5 верхний уровень сам видит картинку и сам называет предметы, а подзадача пишется токенами текста. Модель действий выдаёт пачку из 50 движений, а не одну пару «где взять, куда положить». Порядок уборки оператора у нас случайный, поэтому верхний уровень учится не порядку, а только правилу мест.

Модель действий у обеих политик одна и та же, и предмет по названию она находит почти всегда. Плоская ошибается в другом: команда «убери со стола» не говорит, куда нести, и решать это ей приходится по пикселям, по немногим записям длинной задачи. Иерархическая выносит это решение в слова. Там правило «миска — в мойку» держится на одном слове и сразу переносится на миску любого цвета, а «положи синюю миску в мойку» модель действий видела в коротких командах других задач.

В π0.5 то же сравнение сделано на четырёх задачах в макетах домов: посуда в мойку, вещи в ящик, бельё в корзину, заправить кровать. Полная модель с подзадачами оказалась лучше всех вариантов и даже лучше варианта, где подзадачи говорил человек. Второй — вариант implicit HL: подписи шагов в обучении есть, но при выводе подзадача не называется. Значит, подписи помогают уже тем, что модель на них учится, а явный вывод добавляет ещё. Хуже всех — вариант, где подзадачи говорила GPT-4 без обучения на данных робота: общая языковая модель не знает, что этот робот может сделать в этом доме, — та же беда, что у языковой модели без функции ценности в уроке 2.3.

Столы в этой лаборатории стояли в одной и той же обстановке. А если сменить сам дом — скатерть, свет, узор?

🔬 Лаборатория 2

Сколько домов нужно, чтобы работать в новом

Авторы π0.5 проверили это прямо. Модель постобучали на записях мобильных роботов из 3, 12, 22, 53, 82 и 104 мест, а число шагов обучения подобрали так, чтобы каждая модель видела одинаковое число уникальных примеров. Менялось только одно — из скольких мест эти примеры. Проверяли в макетах домов, которых не было в обучении.

Повторим опыт на столе Ады. Дом здесь — скатерть, её узор и свет: белая скатерть, голубая в зелёную клетку, серый пластик в жёлтый горошек. Задача короткая — «возьми синюю миску»: та же модель действий, что в лаборатории 1, только без выбора места. Записей всегда 96, их раздают поровну по 1–96 домам. Проверка — 128 команд в 16 новых домах: по два стола в каждом, на столе четыре предмета, каждый просят взять по названию. Для сравнения есть модель, обученная на тех же 96 записях прямо в проверочных домах, на других столах.

Вид на стол сверху в новом доме — так его видит модель, 96 × 96 пикселей. Оранжевая заливка — где модель хочет взять предмет по выбранной команде: чем ярче клетка, тем выше вероятность. Кольцо — предмет из команды, ✓ — захват попал в него, ✗ — захват мимо: в скатерть или в другой предмет. Нажми на предмет, чтобы выбрать команду.

Дома в обучении

Новые дома

Квадрат — скатерть дома с узором и светом. У новых домов под квадратом — сколько из 8 команд модель выполнила верно.

По горизонтали — сколько домов в обучении, шкала логарифмическая; по вертикали — сколько из 128 команд в новых домах выполнено верно, в процентах. Точка — модель, обученная на 96 записях из стольких домов. Пунктир — модель, обученная в самих проверочных домах.

Домов в обучении1 Новый дом1

Стол

Набор домов

Под капотом: как устроены дома и почему одной скатерти мало

Дом. Скатерть одного из девяти цветов — от белой до тёмного дерева; у трёх четвертей домов на ней полоски, клетка или горошек, цвет которых на 70–95% состоит из цвета одного из четырёх предметов, остальное — цвет скатерти. Свет — от 80% до 110% яркости с тёплым или холодным оттенком. Предметы — красный, синий, зелёный и жёлтый, по одному каждого цвета, формы случайные.

Модель. Та же карта, что в лаборатории 1: фильтр 5 × 5 клеток по трём цветам плюс поправки за слова цвета и формы, softmax по 576 клеткам, перекрёстная энтропия, 160 шагов Adam по 32 записи. Обучение одной модели — около секунды. Окно фильтра видит и предмет, и скатерть вокруг: отличить синюю миску от синей полоски или синего горошка можно только по форме и размеру пятна. У края стола окно видит и скатерть за ним: вокруг стола оставлено поле в 8 пикселей.

Почему мало одной скатерти. На белой скатерти синий предмет — это просто «много синего в окне», и модели не нужно учиться отличать его от синей полоски: полосок там нет. В новом доме полоска или горошек цвета предмета набирают такой же счёт, как сам предмет. Чем больше разных скатертей в обучении, тем чаще модель видит, что синее пятно в полоску — не миска, и тем сильнее опирается на форму. Число записей при этом не растёт — растёт только разнообразие.

Где упрощено. У π0.5 место — это целый дом: мебель, планировка, предметы, а не только скатерть. Модели постобучали после предобучения на всех остальных данных, а у нас модель учится с нуля. Поэтому числа лаборатории и статьи сравнивать нельзя, похожа только форма зависимости.

В π0.5 зависимость та же: средний результат по четырём задачам в целом растёт с числом мест в обучении. Контрольная модель, обученная прямо на данных проверочных домов, работает примерно как модель из 104 мест, которая этих домов не видела. И ещё одна проверка: те же данные без остального ко-обучения — и из 104 мест, и прямо из проверочных домов — дали результат намного хуже. Разнообразие мест работает только вместе с остальной смесью.

Какие части смеси важнее, авторы проверили, убирая их по одной. Без данных неподвижных роботов в домах (ME) или без лабораторных данных разных роботов (CE) результат заметно падает. Без веб-данных средний результат по задачам снижается в пределах разброса, но на командах с предметами незнакомых категорий — воронкой, зажигалкой, защитными очками — модель справляется заметно хуже. Таких предметов в записях роботов не было вовсе, и знание о них модели дают только веб-данные и то, что модель зрения и языка выучила до роботов.

Значит, обобщение у π0.5 держится на смеси, где модель зрения и языка учится и словам, и действиям сразу. Но в уроке 3.3 обучение на одних действиях заставляло модель забывать, что она знала о мире. Как учить движения и не портить знания?

4 Изоляция

Изоляция знаний: эксперт действий не должен переучивать модель зрения и языка

У π0 эксперт действий из урока 3.6 появляется в начале обучения со случайными весами и учится по ошибке flow matching. Блочная маска из урока 3.6 не даёт картинкам и тексту смотреть на токены действий, но сам эксперт читает ключи и значения модели зрения и языка. По этому пути ошибка эксперта при обучении идёт и в её веса: модель подстраивается под ещё ничего не умеющего эксперта. Авторы следующей работы, Knowledge Insulation (Driess и соавторы, май 2025), показали, к чему это ведёт. Модель хуже следует командам — например, на просьбу убрать ложку в лоток π0 берёт мусор, — и учится медленнее. На уборке стола π0 понадобилось в 7,5 раза больше шагов обучения, чем их варианту, чтобы выйти на тот же результат. Авторы связывают это с тем, что градиенты двух целей мешают друг другу.

Заморозить модель зрения и языка тоже нельзя: её признаков, выученных на картинках и текстах, для управления роботом не хватает, и в опытах статьи такая модель не справилась ни с одной попыткой. Модели нужно учиться действиям, но не от случайного эксперта.

Решение называют изоляцией знаний (knowledge insulation). В нём три части. Первая: модель зрения и языка учится действиям сама, в виде токенов FAST, — это обычное для неё предсказание следующего токена, и при выводе эти токены не нужны. Вторая: она продолжает учиться на веб-данных — подписях, вопросах о картинках, поиске предметов. Третья: эксперт действий читает её ключи и значения через внимание, но градиент его ошибки в неё не проходит. Это остановка градиента (stop-gradient): в прямом проходе величина участвует как обычно, а в обратном считается константой.

Схема обучения, вверху — π0 без изоляции, внизу — с изоляцией знаний. Синие точки — прямой проход: картинки и текст идут в модель зрения и языка, её ключи и значения читает эксперт действий (оранжевый). Красные точки — градиент ошибки flow matching, фиолетовые — градиент ошибки токенов FAST и веб-данных. Полоска в правой части модели — сколько она помнит из того, что знала о мире до обучения действиям. Нажми на схему, чтобы остановить её.

Авторы называют свою работу формализацией рецепта π0.5. π0.5 сначала училась только на токенах FAST, а эксперт добавлялся на втором этапе; изоляция знаний делает то же в один этап. Получается модель, которая учится так же быстро, как π0-FAST, а выдаёт действия так же быстро, как π0: эксперт строит пачку за несколько шагов flow matching, вместо того чтобы декодировать токены по одному. У π0-FAST секундная пачка занимает около 750 мс на RTX 4090, и на уборке стола она тратит на задачу вдвое больше времени. Цена изоляции — примерно на 20% больше вычислений на шаг обучения из-за двух видов действий; по времени до результата обучение всё равно быстрее π0.

Под капотом: две ошибки и где останавливается градиент

Последовательность — картинки, текст и состояние робота, затем токены FAST, затем шумные действия эксперта. Ошибка модели складывается из двух:

\begin{gathered} L = -\sum_j M^{\ell}_j \log p_\theta\bigl(\hat\ell_{j+1} \mid x_{1:j}\bigr) \\ +\ \alpha\, \bigl\lVert \omega - a_{1:H} - f_\theta\bigl(a^{\tau,\omega}_{1:H}\bigr) \bigr\rVert^2, \end{gathered}

где первая сумма — перекрёстная энтропия по токенам текста и FAST (маска $M^{\ell}$ выбирает, по каким токенам считать), вторая — flow matching эксперта: $a^{\tau,\omega} = \tau a + (1 - \tau)\,\omega$ , $\omega \sim \mathcal N(0, I)$ , и эксперт $f$ предсказывает $\omega - a$ . Пачка — $H = 50$ действий.

Встречаются эксперт и модель зрения и языка только во внимании. Запросы эксперта $Q_a$ смотрят на ключи и значения модели, но через остановку градиента $\operatorname{sg}$ :

\operatorname{softmax}\Bigl(\tfrac{Q_a\, [\operatorname{sg}(K_b),\ K_a]^\top}{\sqrt d}\Bigr)\, [\operatorname{sg}(V_b),\ V_a].

Маска внимания устроена так, что токены FAST и непрерывные действия друг друга не видят — иначе эксперт мог бы списать ответ из токенов FAST. Информация идёт только от модели зрения и языка к эксперту. Раз ошибка эксперта больше не влияет на модель, вес $\alpha$ можно взять равным 1: у второго слагаемого теперь свои, отдельные веса. В π0.5 на постобучении стоял вес $\alpha = 10$ .

Подзадача словами — короткое рассуждение перед действием: одна фраза о том, что делать дальше. А если рассуждать подробнее?

5 Рассуждение

Рассуждение цепочкой перед действием

Языковые модели решают сложные задачи точнее, если сначала пишут ход рассуждения, а потом ответ. Это называют рассуждением цепочкой (chain-of-thought). VLA из урока 3.5 вроде OpenVLA отвечает действием сразу: семь токенов на шаг, без единого слова о том, что она видит и что собирается делать.

ECoT (Embodied Chain-of-Thought, Zawalski и соавторы, 2024) учит OpenVLA перед каждым действием писать цепочку о задаче и о самой сцене. Сначала — переформулировать задачу, потом план, текущую подзадачу, движение словами («двигайся влево»), координаты захвата на картинке и рамки предметов на столе, и только потом токены действия:

Команда: положи арбуз на полотенце.

Задача: поместить арбуз на полотенце.

План: 1. подойти к арбузу; 2. крепко взять его; 3. перенести к полотенцу; 4. положить арбуз на полотенце.

Подзадача: подойти к арбузу. Почему: арбуз — первый предмет, с которым нужно работать, а захват ещё далеко от него.

Движение: назад. Почему: арбуз позади захвата.

Захват на картинке: [156, 55]

Предметы: арбуз [126, 146, 141, 125], полотенце [20, 59, 218, 198], ложка [114, 93, 141, 125]

Действие: [Δx, Δθ, Δзахват] — 7 токенов

Пример цепочки с рисунка 3 статьи ECoT в переводе. Координаты — пиксели на картинке камеры, у предметов — углы рамки.

Разметку для 60 тысяч демонстраций Bridge V2 никто не писал руками. Сцену описала модель зрения и языка Prismatic, рамки нашёл детектор Grounding DINO, положение захвата — детектор OWLv2 вместе с моделью сегментации SAM, движение словами посчитали по состоянию робота на 4 шага вперёд, а план и подзадачи по всему этому написала Gemini 1.0. Больше 2,5 млн шагов разметили за 7 дней.

На задачах с новыми предметами, сценами и командами ECoT подняла абсолютный успех OpenVLA на 28 процентных пунктов, 314 попыток на каждый метод. Она обошла и RT-2-X, которая в 7 раз больше: 55 млрд параметров против 7. Цепочку можно читать: когда робот ошибается, видно, где, — например, модель приняла молоток за отвёртку. Её можно и исправить. Человек один раз за эпизод говорил фразу вроде «чашка высокая», по ней переписывали цепочку, и на трёх самых трудных задачах успех вырос на 48 пунктов.

Цена — скорость. Вместо 7 токенов на шаг модель пишет около 350. Поэтому в основных опытах верхнюю часть цепочки — план и подзадачу — пересчитывают раз в 5 шагов. У π0.5 подзадача — тоже рассуждение перед действием, только короткое, и авторы прямо сравнивают с ECoT: их верхний уровень работает реже, чем нижний. Позднее Gemini Robotics 1.5 научилась думать словами перед действием сама — об этом в разделе «Сегодня».

Но и ECoT, и π0.5 учатся по демонстрациям. Такая модель в лучшем случае так же хороша, как оператор, а её собственные ошибки в данных не встречаются. Как роботу учиться на своих попытках?

6 Опыт

π*0.6: учиться на собственных попытках с оценкой

В уроке 1.1 ошибки политики, обученной по демонстрациям, накапливались, а в уроке 1.2 их исправлял DAgger: человек показывал, как выйти из состояний, куда приводит сама политика. Авторы π*0.6 (Physical Intelligence, ноябрь 2025) ставят задачу шире: робот должен исправлять ошибки, которые делает на работе, и стать быстрее и надёжнее, чем оператор, который его учил. Для этого мало копировать хорошее — нужно знать, какие из собственных действий были лучше.

Метод называется RECAP (RL with Experience and Corrections via Advantage-conditioned Policies). Робот выполняет задачу сам, и каждый эпизод помечают исходом: успех или неудача. Когда робот вот-вот ошибётся, оператор может вмешаться и исправить, как в DAgger. По всем этим данным учится функция ценности, как в SayCan из урока 2.3, только здесь она по картинкам и задаче предсказывает, сколько шагов осталось до успеха. Она видит, где эпизод пошёл не так: ценность падает, когда рука смяла сложенную рубашку, и растёт, когда робот её спас.

Из ценности считают преимущество (advantage) каждого действия: насколько после него дела пошли лучше, чем обычно бывает из этого состояния. Дальше — главное. Политику учат на всех данных, а не только на удачных, но во вход добавляют текст: «Advantage: positive», если преимущество выше порога, и «Advantage: negative», если ниже. Исправления оператора всегда помечены как positive. При работе в подсказке стоит «Advantage: positive», и модель выдаёт действия, похожие на лучшие из своих же попыток.

Модель с таким входом и есть π*0.6. Звёздочка отличает её от базовой π0.6, о которой речь ниже: архитектура та же, но у π*0.6 есть вход для метки преимущества, и её учат методом RECAP — сначала на большой смеси данных многих задач и роботов, потом отдельно под каждую задачу на попытках робота.

RECAP — это обучение с подкреплением, как в уроке 1.2: робот действует сам и учится по оценке своих попыток. Но привычные методы такого обучения авторы не взяли: градиент политики, пишут они, трудно применить к модели на flow matching, а методы взвешенной регрессии фактически выбрасывают большую часть данных. В RECAP сам шаг обучения — обычное обучение с учителем на всех данных, как у модели по демонстрациям, а оценку попыток модель получает через метку преимущества во входе.

Базовая π0.6 больше π0.5: модель зрения и языка Gemma 3 на 4 млрд параметров и эксперт действий на 860 млн; подзадачи она тоже называет словами и учится по рецепту изоляции знаний. После RECAP на самых трудных задачах — эспрессо, складывании разного белья, сборке коробок — пропускная способность, то есть сколько задач робот успешно выполняет за час, выросла больше чем вдвое, а доля неудач упала примерно вдвое. Модель варила эспрессо 13 часов подряд и больше двух часов складывала незнакомое бельё в новом доме. Ограничение авторы называют сами: система не полностью автономна — исход эпизода размечают люди, они же вмешиваются и возвращают сцену в начало.

Под капотом: преимущество, порог и цель обучения

Награда разреженная: −1 за каждый шаг, 0 в конце успешного эпизода и большой штраф в конце неудачного. Функция ценности $V(o_t)$ — распределение по 201 корзине, обученное перекрёстной энтропией на возвратах эпизодов; её основа — модель зрения и языка на 670 млн параметров. Преимущество действия — оценка на $N$ шагов вперёд, $N = 50$ :

\begin{gathered} A(o_t, a_t) = \sum_{t'=t}^{t+N-1} r_{t'} + V(o_{t+N}) - V(o_t), \\ I_t = \mathbb 1\bigl[A(o_t, a_t) > \epsilon_\ell\bigr]. \end{gathered}

Порог $\epsilon_\ell$ свой у каждой задачи. Цель обучения — правдоподобие действий без условия и с условием $I_t$ , записанным текстом:

\min_\theta\ \mathbb E\bigl[-\log \pi_\theta(a_t \mid o_t, \ell) - \alpha \log \pi_\theta(a_t \mid I_t, o_t, \ell)\bigr].

Это родственник classifier-free guidance из урока 1.4: модель умеет и условное, и безусловное распределение, и улучшенная политика пропорциональна $\pi(a \mid o, \ell)\,\bigl[\pi(a \mid I, o, \ell) / \pi(a \mid o, \ell)\bigr]^{\beta}$ . При $\beta = 1$ это просто $\pi(a \mid I{=}1, o, \ell)$ — так авторы и запускают модель. Большие $\beta$ , по их словам, делают движения резкими. Каждую итерацию сбора функцию ценности и политику дообучают заново от предобученной модели, и часто хватает одной-двух итераций.

Текст «Advantage: positive» во входе — подсказка о том, как действовать, а не что делать. Нельзя ли так же подсказывать скорость, аккуратность, стратегию?

7 Подсказки

π0.7: подсказка говорит, что делать и как

Чем больше в смеси разных данных, тем больше в ней разных способов делать одно и то же: быстрые и медленные операторы, аккуратные и небрежные, удачные попытки и неудачные, записи специалистов — моделей π*0.6, которые методом RECAP дообучили под одну задачу. Авторы π0.7 (Physical Intelligence, апрель 2026) пишут, что при обычном обучении на такой смеси модель «усредняет» разные способы и работает хуже лучших из них. Это не среднее действие, как у регрессии в уроке 1.3: эксперт на flow matching выдаёт действия одного из способов, которые есть в данных. Но какого — решает случай. Без подсказки о том, какой это эпизод, модель воспроизводит всю смесь, вместе с медленными, небрежными и ошибочными попытками, и в среднем работает как средняя запись, а не как лучшая. Попросить её действовать как лучшие операторы нечем.

Поэтому в обучении каждый пример получает подробный контекст. Кроме задачи и подзадачи словами, в нём может быть до трёх изображений подцели — как должна выглядеть сцена после подзадачи, их рисует отдельная модель-генератор картинок на 14 млрд параметров, — и метаданные эпизода: сколько он длился, качество по шкале от 1 до 5, была ли ошибка, как управлялась рука. Подсказка выглядит так:

Task: peel vegetables. Subtask: pick up the peeler. Speed: 8000. Quality: 5. Mistake: false. Control Mode: joint.

Пример из раздела V статьи: задача «почисти овощи», подзадача «возьми овощечистку», скорость — длина эпизода в шагах, качество 5 из 5, без ошибок, управление по суставам.

Части подсказки при обучении случайно выбрасывают, чтобы модель умела работать и без них. При работе в подсказку ставят лучшее: качество 5, «ошибок нет», скорость — как у быстрых эпизодов. Это та же идея, что «Advantage: positive» у π*0.6, только описаний больше. Такую модель называют управляемой (steerable): её поведение задаётся подсказкой. Авторы проверили, зачем это нужно. Без метаданных модель на большей смеси данных разного качества может стать даже хуже, а с метаданными продолжает улучшаться по мере того, как данных становится больше.

Подсказкой можно составить и новую задачу из знакомых навыков. Человек ведёт робота словами шаг за шагом, как объяснял бы задачу другому человеку, — авторы называют это коучингом, — и π0.7 загружает батат в аэрогриль, хотя такой задачи в её данных не было; авторы оговаривают, что похожие приборы встречались в видео людей и во внешних наборах данных. Короткие новые задачи вроде «нажми поршень френч-пресса» она делает сразу, а длинные, до 5 минут, без подсказок человека не получаются. По записям коучинга потом учат высокоуровневую политику, и та справляется примерно как человек с подсказками.

π0.7 — модель на 5 млрд параметров: модель зрения и языка на 4 млрд и эксперт действий на 860 млн, пачка из 50 действий за 5 шагов flow. На задачах, где π*0.6 обучали с подкреплением отдельно для каждой задачи, одна π0.7 работает на уровне этих специалистов, а на белье и коробках по пропускной способности даже обходит их. Складывать бельё на двуруком роботе UR5e её не учили вовсе, и всё же она набрала 85,6% прогресса задачи и 80% успеха; опытные операторы на этом роботе — 90,9% прогресса.

Сами авторы осторожны. Знакомые задачи модель часто выполняет больше чем в 90% случаев, а новые сочетания задачи и робота — в 60–80%. И трудно сказать, какие задачи по-настоящему новые: возможно, модель обобщает, в основном пересобирая навыки, которые видела.

Четыре модели за полтора года. Что добавила каждая?

🧩 Интерактив

От π0 до π0.7: что добавила каждая модель

Корзины ниже идут по времени, слева направо: π0 (октябрь 2024), π0.5 (апрель 2025), π*0.6 (ноябрь 2025), π0.7 (апрель 2026). Разложи по ним, в какой модели каждая идея появилась впервые. Работа об изоляции знаний вышла через месяц после π0.5 и описывает её рецепт, поэтому её идею клади к π0.5. Перетащи карточку или нажми её, а потом корзину.

Каждая следующая модель сохраняла всё, что было до неё. Пачка из 50 действий от эксперта на flow matching пришла из π0 и осталась везде; подзадачи словами из π0.5 есть и у π0.6, и у π0.7; данные с оценками и автономные попытки из π*0.6 вошли в обучение π0.7. Росли и размеры: эксперт действий — с 300 млн параметров у π0 и π0.5 до 860 млн у π0.6 и π0.7.

8 Сегодня

Новые дома без дообучения и рассуждение словами стали нормой

Код π0.5 открыт в репозитории openpi — том же, где лежит π0 из урока 3.6. Идея рассуждать словами перед действием прижилась и у других. Gemini Robotics 1.5 (Google DeepMind, сентябрь 2025) думает перед действием: пишет рассуждение словами и может сама разбить длинную задачу на короткие куски. Её пара, Gemini Robotics-ER 1.5, планирует миссию и даёт VLA инструкцию на каждый шаг, как в уроке 3.7. В Gemini Robotics ER 2 (июль 2026) робот обдумывает следующий шаг, пока выполняет текущий, и по видео следит, как идёт задача, чтобы исправиться, если что-то пошло не так.

Работа в незнакомом доме стала главным мерилом. Figure в сентябре 2026 показала Helix 2.5 в 30 домах, где не записали ни одной демонстрации и ничего не дообучали: уборку гостиной, складывание полотенец, заправку кровати. Helix 2.5 предобучили с нуля на Index — собственном наборе записей поведения людей. Чтобы измерить вклад этого предобучения, Figure сравнила две политики, обученные на одних и тех же данных задач: одну учили со случайных весов, другую — с весов, предобученных на Index. В новых домах первая справилась в 9% попыток, вторая — в 56%. Figure сама оговаривается, что универсальная робототехника этим не решена.

У всех этих систем одно общее: они прожорливы к данным. π0 — больше 10 тысяч часов записей, π0.5 — сотни часов в домах и смесь, где записи нужной задачи составляют несколько процентов, Helix 2.5 — записи людей, которые, по словам Figure, каждую секунду пополняются примерно на 35 минут. В лаборатории 2 одни и те же 96 записей давали разный результат в зависимости от того, из скольких они домов. Сколько записей нужно, откуда их брать и какие именно собирать — об этом часть 4.

9 Проверь себя

Восемь вопросов о типичных заблуждениях

10 Итог

Итоги урока

Ко-обучение на разнородных данных: у π0.5 записи мобильных роботов в домах — около 400 часов в 100 домах — лишь 2,4% примеров первого этапа; остальное — другие роботы, веб-данные, подписи шагов, словесные инструкции. Модель убирала кухню и спальню в трёх домах, которых не было в обучении.
Одна модель сначала называет подзадачу словами, потом выдаёт действия, и действия зависят только от подзадачи. Нижний уровень учится на действиях любых роботов, верхний — на подписях, веб-данных и инструкциях. На столе Ады плоская политика убрала 7 столов из 20, иерархическая с той же моделью действий — 20.
Работа в новом доме растёт с числом разных мест в обучении, а не с числом записей: π0.5 при равном объёме данных из 104 мест работает примерно как модель, обученная прямо в проверочных домах. В лаборатории 96 записей из одного дома дали 85 верных захватов из 128 в новых домах, из 12 домов — 114, а модель, обученная в самих проверочных домах, — 118.
Изоляция знаний: модель зрения и языка учит действия токенами FAST и не забывает веб-данные, а градиент эксперта действий в неё не идёт. π0 до того же результата нужно в 7,5 раза больше шагов обучения; действия по-прежнему выдаёт быстрый эксперт.
Рассуждение цепочкой ECoT — план, подзадача, движение, захват, рамки предметов перед действием — подняло успех OpenVLA на 28 пунктов, но стоит 350 токенов на шаг вместо 7. Подзадача π0.5 — короткая и более редкая форма того же.
π*0.6 — это π0.6, обученная с подкреплением методом RECAP. Она учится на своих попытках: функция ценности оценивает каждое действие, и во вход модели пишут «Advantage: positive» или «negative»; на трудных задачах пропускная способность выросла больше чем вдвое. π0.7 расширяет подсказку — подцели картинками, скорость, качество, ошибки — и становится управляемой: собирает новые задачи из навыков по подсказкам человека.

Открытые вопросы

Как часто называть подзадачу и когда её менять?

Авторы π0.5 пишут, что верхний уровень легко отвлекается: робот может несколько раз открыть и закрыть один и тот же ящик. ECoT пересчитывает план раз в 5 шагов, π0.7 обновляет картинку подцели при смене подзадачи или раз в 4 секунды. У π0.5 почти нет памяти о том, что уже сделано: подзадача выбирается по текущим картинкам. Сколько контекста нужно, чтобы длинная задача не ходила по кругу, пока не ясно.

Кто будет размечать опыт робота?

И RECAP, и метаданные π0.7 держатся на людях: исход эпизода, качество, ошибки, исправления и возврат сцены в начало делают операторы. Авторы π*0.6 сами называют это главным ограничением. Чтобы робот учился на работе, оценку придётся получать без человека — от функции ценности, детектора успеха, как в уроке 2.3, или от модели зрения и языка, которая смотрит видео. Насколько им можно доверять, ещё предстоит выяснить.

Гид по статье

Physical Intelligence (K. Black и соавторы), «π0.5: a Vision-Language-Action Model with Open-World Generalization», 2025.

Читать внимательноРаздел IV-A и формулу 1: как подзадача и действия раскладываются в одной модели. Раздел IV-C и рисунок 4: шесть видов данных. Раздел V-B: опыт с числом мест при равном объёме данных. Раздел V-E: варианты верхнего уровня, от implicit HL до GPT-4 и человека.
Можно пропуститьПриложение B с правилами подсчёта баллов в каждой задаче и приложение A со вкладом авторов.
Вопрос по ходуВариант implicit HL учится на подписях шагов, но при выводе подзадачу не называет — и всё же работает лучше варианта без подписей. Чему подписи учат модель, если она их не произносит?

D. Driess и соавторы, «Knowledge Insulating Vision-Language-Action Models: Train Fast, Run Fast, Generalize Better», 2025 — остановка градиента от эксперта действий и токены FAST.

M. Zawalski и соавторы, «Robotic Control via Embodied Chain-of-Thought Reasoning», 2024 — ECoT.

Physical Intelligence, «π*0.6: a VLA That Learns From Experience», 2025 — RECAP.

Physical Intelligence, «π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities», 2026.

Материалы

Блог π0.5Видео уборки в новых домах
Блог π*0.6Эспрессо, бельё и коробки после RECAP
Блог π0.7Подсказки, коучинг и новые задачи
openpiКод π0 и π0.5
ECoTСтраница проекта с примерами цепочек
Gemini Robotics 1.5Рассуждение словами перед действием
Helix 2.530 новых домов без дообучения

✅

Проверь себя по всей части 3. Вопросы по урокам 3.1–3.8 вперемешку: так видно, что держится в памяти. В конце — балл по каждому уроку и разделы, которые стоит повторить.

Проверка части 3 →

➡️

Дальше: часть 4, данные для обучения роботов. В части 3 модели росли от RT-1 до π0.7, и каждая следующая требовала больше записей: тысячи часов, сотни домов, данные многих роботов. Языковые модели учат на текстах из интернета, а записи робота кто-то должен сделать руками. Сколько данных нужно, откуда их брать и что собирать, чтобы модель работала в новом доме? Программа курса →

Урок был понятен?

Нашли ошибку или неточность? Сообщить на GitHub

Урок пригодился? Скажи спасибо — так автор узнает, что курс читают.