3.3 Часть 3 · Foundation-модели для роботов

RT-2: действия как текстовые токены

В уроке 3.1 RT-1 выучил по 130 тысячам демонстраций больше 700 задач, но предмет или слово, которых не было в демонстрациях, для него не существуют. В уроке 3.2 vision-language модели читали картинку как токены и отвечали на вопросы о ней словами: они знают мир по миллиардам пар «картинка — текст», но действовать не умеют. RT-2 (Google DeepMind, 2023) соединяет одно с другим без новой архитектуры: берёт готовые VLM PaLI-X на 55 миллиардов параметров и PaLM-E на 12 миллиардов и дообучает их выдавать действие робота как строку из восьми целых чисел, то есть как ещё одну фразу. Дообучают совместно с исходными веб-данными, иначе модель забывает, что знала о мире. В обобщении на новые предметы, фоны и обстановку RT-2 примерно вдвое лучше RT-1 и выполняет команды, которых в данных робота не было: поставить банку на цифру «3», подвинуть яблоко к чашке того же цвета, выбрать напиток для уставшего человека. Цена — модель на 55 миллиардов параметров работает на кластере TPU с частотой 1–3 Гц.

≈ 45 минутлаборатория, два интерактива и квизмиссии с целью

ДЕЙСТВИЕ СЛОВАМИПереведи движение захвата в строку из восьми чисел и посмотри, как её прочитают две разные языковые модели

ТРИ СПОСОБА ОБУЧЕНИЯОбучи на столе маленькую модель «картинка и команда → действие» тремя способами из статьи и сравни их рядом на команде про цвет, которого робот не видел

ЧТО ТЕРЯЕТСЯИзмерь, как модель, которую доучили только действиям, разучивается называть цвет предмета на картинке

ЧТО ПОЯВИЛОСЬ САМОРазложи команды из статьи: чему робота учили демонстрациями, что пришло из интернета и чего он не умеет

Начать урок ↓

1 VLA

Знание из интернета и действия робота

RT-1 из урока 3.1 выучил по демонстрациям сотни задач, но только с теми предметами и словами, которые встречались в демонстрациях. Команда «подвинь яблоко к цифре 3» для него бессмысленна: цифр в данных не было. Собрать демонстрации на все предметы и слова мира нельзя: авторы RT-2 пишут, что лобовой путь потребовал бы миллионов попыток робота, тогда как самые сильные языковые и vision-language модели обучены на миллиардах токенов и картинок из интернета, и данными робота такого объёма не набрать в обозримом будущем.

Знание о мире уже есть в vision-language моделях (VLM) из урока 3.2. Но их выход — текст, а роботу нужны числа: смещение захвата и углы поворота. В уроке 2.3 языковые модели обходили это, работая планировщиком: SayCan выбирал навык из списка, Code as Policies писал код. Авторы RT-2 называют такую роль «конечным автоматом»: модель разбирает команду на готовые примитивы, а низкоуровневые контроллеры, которые их исполняют, ничего не получают от знаний модели. Вопрос статьи сформулирован прямо: можно ли встроить большую предобученную VLM непосредственно в низкоуровневое управление роботом, чтобы улучшить обобщение и получить семантическое рассуждение?

Ответ RT-2 устроен просто. VLM и так выдаёт последовательность токенов, обычно это слова. Если записать действие робота текстом, его можно поставить в ответ модели рядом с обычными словами и дообучить модель на демонстрациях робота так же, как на вопросах о картинках. Модель, которая принимает картинку и команду и выдаёт действие, авторы называют vision-language-action моделью (VLA). Новых параметров для действий не добавляют: «pre-existing vision-language models… are trained without any new parameters to output text-encoded actions». Дообучили две модели: PaLI-X в вариантах на 5 и 55 миллиардов параметров и PaLM-E на 12 миллиардов. Данные робота — те же, что у RT-1: демонстрации, собранные 13 роботами за 17 месяцев в офисной кухне, с командами из глагола навыка и названий предметов.

Осталось понять, как именно действие становится текстом: какие числа, сколько их и как их видит токенизатор языковой модели?

🧩 Интерактив

Действие словами

Языковая модель выдаёт токены словаря, а действие робота — набор непрерывных величин. Чтобы одно стало другим, непрерывное нужно разбить на корзины и дать каждой корзине токен. Токен здесь — элемент словаря языковой модели, одно «слово», которое она умеет выдавать; корзина (bin) — один из равных отрезков, на которые делят диапазон оси, и вместо точного значения записывают номер отрезка.

RT-2 берёт разбиение из RT-1. Действие — это признак завершения эпизода, шесть смещений позы захвата (три по положению и три по углам) и степень раскрытия захвата: восемь величин. У RT-1 в уроке 3.1 их было 11: те же семь для руки и захвата, три для движения базы и режим — двигать руку, двигать базу или закончить эпизод. В статье RT-2 действие описано без базы, а вместо режима в нём одна команда — завершить эпизод. Каждую непрерывную величину равномерно делят на 256 корзин, и действие превращается в восемь целых чисел, записанных через пробел; такой перевод называют дискретизацией действий: «terminate Δpos_x Δpos_y Δpos_z Δrot_x Δrot_y Δrot_z gripper_extension». Дальше всё зависит от токенизатора конкретной VLM — правила, которое разбивает текст на токены словаря. У PaLI-X целые числа до 1000 имеют собственные токены, поэтому номер корзины и есть токен. У PaLM-E таких токенов нет, и авторы переписали под действия 256 самых редких токенов словаря; они называют это разновидностью symbol tuning. Запрос модели оформлен как обычный вопрос о картинке: «Q: what action should the robot take to [task instruction]? A:», а ответ — строка чисел. Обратный перевод токенов ответа в числа для робота называют детокенизацией.

Ниже — переводчик без обучения. Ползунки задают действие захвата, строка под ними — его запись восемью числами, плитки — токены, которые увидит модель. Строку можно править руками: число в ней двигает захват. Диапазоны осей в статье не приведены, поэтому шкалы здесь — доли диапазона от −1 до +1, без сантиметров и градусов.

Захват робота в двух видах: слева — вид сверху (смещение по x и y, поворот вокруг вертикали), справа — вид сбоку (подъём по z, наклон, раскрытие губок; дуга вверху — крен). Шкалы — доли диапазона оси от −1 до +1.

Токенизатор

Q: what action should the robot take to pick the cup? A:

Строка действия

Под капотом: дискретизация, два словаря и ограничение вывода

Для непрерывной величины $a$ с границами $a_{\min}$ и $a_{\max}$ номер корзины и обратный перевод в центр корзины:

\begin{aligned} b &= \operatorname{round}\!\Bigl( \frac{a - a_{\min}}{a_{\max} - a_{\min}} \cdot 255 \Bigr), \\ \hat a &= a_{\min} + \frac{b}{255}\,(a_{\max} - a_{\min}). \end{aligned}

Признак завершения — отдельная дискретная команда 0 или 1, её не делят на корзины. Ошибка квантования — не больше половины ширины корзины; у RT-1 с теми же 256 корзинами её хватало для управления на 3 Гц.

Строка в статье выглядит так: «1 128 91 241 5 101 127». В тексте статьи этот пример напечатан с семью числами, хотя полей восемь. У PaLI-X число 128 — это токен «128», один из тысячи числовых токенов словаря; у PaLM-E вместо числа стоит один из 256 редких токенов, которые переназначили под действия. Какие именно токены переназначены, в статье не сказано, здесь они показаны условно как ⟨r128⟩. Модель учат предсказывать следующий токен, и авторы отмечают, что эта цель совпадает с потерей клонирования поведения из урока 1.1.

При управлении роботом модели нельзя позволить ответить словами. Поэтому вывод ограничивают: когда запрос — команда роботу, при декодировании разрешены только токены действия; на обычных vision-language задачах модель по-прежнему выдаёт любой текст. В интерактиве ограничение работает в обратную сторону: строка принимается, только если в ней восемь целых в допустимых пределах.

Направление шкалы захвата здесь — допущение урока: 0 — губки сомкнуты, 255 — полностью раскрыты. В статье направление не указано.

Формат найден: действие стало фразой из токенов, и его можно подать модели в том же виде, что и ответ на вопрос о картинке. Но дообучение меняет веса всей модели. Если учить её только на строках действий, не потеряет ли она то, ради чего её взяли, — знание о мире из веб-данных?

2 Дообучение

Совместное дообучение и что оно даёт

Такой риск есть. Если показывать модели только демонстрации робота, веса, которые отвечали за знание о мире, перестраиваются под одну задачу, и модель забывает то, чему училась на веб-данных. Это называют забыванием (catastrophic forgetting): новое обучение стирает старые умения, потому что их больше никто не проверяет. Авторы называют ключевой деталью рецепта совместное дообучение (co-fine-tuning): данные робота подают вместе с исходными веб-данными VLM — вопросами о картинках, подписями, перемежающимися картинками и текстом, — а не дообучают «наивно» на одних действиях. Объяснение в статье: политика при этом видит и абстрактные визуальные понятия из веба, и низкоуровневые действия робота, и это даёт более обобщающие политики; данные робота в каждом пакете берут с повышенным весом — у RT-2-PaLI-X они составляют около 50% смеси, у RT-2-PaLM-E около 66%. Веб-данные — это, например, WebLI: около 10 миллиардов пар «картинка — текст» на 109 языках, из которых отфильтровали 10% лучших по сходству, около миллиарда примеров.

Так выглядит путь данных: картинка с камеры и команда идут в визуальный энкодер и языковую модель, ответ — токены, их детокенизируют в числа и отправляют роботу; в ту же модель на обучении приходят веб-пары с ответами словами.

Схема, а не рисунок робота: путь от камеры робота — один шаг управления, путь от веб-пары — пример веб-данных. Оранжевым — токены действия и команда роботу, синим — патчи картинки, фиолетовым — слова ответа. Нажми на схему, чтобы остановить её.

Что это даёт, авторы измерили примерно на 6 тысячах прогонов настоящего робота. На знакомых задачах из набора RT-1, больше 200 команд, RT-2 и RT-1 показали похожий результат: 91–93% против 92%. Разница — в обобщении: новые предметы, новые фоны и новая обстановка, свыше 280 команд, каждая категория в лёгком и трудном варианте. Наведи на ячейку таблицы, чтобы увидеть условие.

Таблица

Модель	знакомые	предметы, легко	предметы, трудно	фон, легко	фон, трудно	обстановка, легко	обстановка, трудно	среднее
R3M	45	32	14	13	9	0	2	12
VC-1	63	34	10	13	3	0	0	10
RT-1	92	31	43	71	9	26	14	32
MOO	75	58	48	38	41	19	3	35
RT-2-PaLI-X-55B	91	70	62	96	48	63	35	62
RT-2-PaLM-E-12B	93	84	76	75	71	36	33	62

RT-2-PaLI-X	обучение	предметы, легко	предметы, трудно	фон, легко	фон, трудно	обстановка, легко	обстановка, трудно	среднее
5B	с нуля	0	10	46	0	0	0	9
5B	дообучение	24	38	79	50	36	23	42
5B	совместное	60	38	67	29	44	24	44
55B	дообучение	60	62	75	38	57	19	52
55B	совместное	70	62	96	48	63	35	63

Успех в процентах — доля попыток, в которых робот выполнил команду, по таблицам 4 и 6 статьи. Подчёркнуто — лучшее в столбце. Наведи на ячейку или нажми её.

В среднем по обобщению обе версии RT-2 дали 62% против 32% у RT-1 и 35% у MOO — примерно вдвое лучше, и примерно в шесть раз лучше, чем R3M и VC-1. Таблица 6 отвечает на вопрос, откуда берётся выигрыш. Та же архитектура на 5 миллиардов параметров, обученная с нуля на одних демонстрациях, обобщает в 9% случаев; дообучение предобученной VLM только на данных робота поднимает это до 42%, а совместное дообучение — до 44%. На 55 миллиардах разрыв заметнее: 52% против 63%. Авторы связывают это с тем, что исходные данные рядом с данными робота не дают модели забыть понятия, выученные при обучении VLM; больший размер модели тоже улучшает обобщение, а 55 миллиардов с нуля решили даже не обучать. Выходит, главный прирост даёт само предобучение VLM, а совместное дообучение заметно добавляет к нему только у большой модели: 2 процентных пункта на 5 миллиардах и 11 на 55. К этой разнице вернёмся в уроке 3.4.

У такой модели есть цена. 55 миллиардов параметров на бортовом компьютере не запустить, поэтому RT-2 работает в облаке на кластере TPU, робот обращается к нему по сети, и один кластер обслуживает несколько роботов. Самая большая модель выдаёт действия с частотой 1–3 Гц, вариант на 5 миллиардов — около 5 Гц. Авторы признают, что для задач с высокочастотным управлением это станет узким местом.

Забывание в статье показано одной строкой таблицы. Можно ли увидеть его на модели, которую обучаешь сам, и измерить, что именно она забывает?

🔬 Лаборатория

Совместное дообучение на столе

Статья сравнивает три способа обучения одной архитектуры, и разница видна только по числам таблицы. Повторим три способа на столе из урока 2.1 с моделью, которая обучается в браузере за секунды, и посмотрим, что каждая из них умеет и чего не умеет.

Мини-VLA устроена по рецепту RT-2. Картинка стола режется на 8 × 8 патчей, общий энкодер даёт каждому патчу вектор; слова команды складываются в запрос, одно кросс-внимание выбирает патч, и три выходных слота выдают токены из общего словаря — одного списка, где слова и действия стоят рядом и модель выбирает из него одинаково: в нём и слова — шесть цветов и четыре формы, — и токены действия: корзина x, корзина y и состояние захвата. Корзин по 24 на ось, как клеток в сетке действий урока 2.1; у RT-2 их 256. Векторы токенов на входе и на выходе одни и те же, поэтому слово, выученное на подписях, работает и в команде. Два набора данных: 300 демонстраций робота — команда «возьми … кубик» только с красным, синим и зелёным, ответ — токены действия; и 240 «веб-пар» — картинка с одним предметом любого из шести цветов и четырёх форм и подпись из двух слов. Как и в RT-2, при обучении и выводе словарь ограничен задачей: на команду роботу — только токены действия, на «опиши» — только слова.

Проверка — 20 новых сцен на каждую команду; фиолетового кубика робот в демонстрациях не брал ни разу. Подписи проверяются на 48 новых картинках, по две на каждое сочетание цвета и формы; подпись считаем верной, если в ней верно назван цвет: форму маленькая модель различает хуже, и полностью верных подписей даже у предобученной модели около половины. Обучение одной модели занимает на компьютере от нескольких секунд до двадцати с небольшим, на телефоне дольше.

Вид на стол сверху, как в уроке 2.1: три кубика и миска. Рядом со сценой — карточки обученных моделей: что модель ответила токенами на этой сцене и сколько сцен из 20 она решила.

Легенда: значки на сцене

Маленькая картинка в карточке — та же сцена, сетка 8 × 8 патчей; закрашены патчи, на которые смотрит внимание модели, ярче — сильнее. В карточке VLM внимание показано для команды «опиши».

Команда

Веб-пары

Зерно

Сцена2

Под капотом: мини-VLA, общий словарь и три режима обучения

Патч $p$ даёт вектор $h_p$ через общий двухслойный энкодер; к нему прибавляется позиция патча — сумма векторов столбца и строки. Запрос — сумма векторов слов команды, $q = \sum_{w} E_w$ . Внимание и контекст:

\begin{gathered} a_p = \operatorname{softmax}_p\bigl(h_p \cdot q\bigr), \qquad c = \sum_p a_p \,(h_p + \text{pos}_p), \\ \text{logit}_{s,t} = (c + S_s)\cdot E_t + b_t . \end{gathered}

Здесь $S_s$ — вектор слота $s$ , $E_t$ — вектор токена $t$ из общего словаря, тот же, что складывается в запрос. На команду «возьми фиолетовый кубик» слот 1 выбирает среди токенов x, слот 2 — среди токенов y, слот 3 — «сомкнуть» или «разжать»; на команду «опиши» слот 1 выбирает цвет, слот 2 — форму. Потеря — перекрёстная энтропия внутри словаря задачи, оптимизатор Adam, пакеты по 16 примеров.

Три режима из таблицы 6. «С нуля»: случайные веса, 100 эпох только на демонстрациях. «Дообучение»: сначала 60 эпох на веб-парах — это предобученная VLM, — потом 120 эпох только на демонстрациях. «Совместное»: та же VLM, потом 120 эпох на демонстрациях и веб-парах вместе. Веб-пар в смеси 240 из 540 примеров, то есть демонстрации составляют около 56% — близко к 50% у RT-2-PaLI-X.

Перенос на фиолетовый возможен потому, что вектор слова «фиолетовый» выучен на подписях и общий для входа и выхода: веб-пары выравнивают его с векторами патчей фиолетовых предметов, и запрос с этим словом находит фиолетовый патч, хотя робот такого кубика не брал. При дообучении только на действиях веса энкодера и векторы слов команды уходят под задачу действий, а «опиши» и слова подписей остаются прежними и перестают с ними согласовываться — это и есть забывание. Критерий «взял» — как в уроке 2.1: центр выбранной клетки ближе 0,85 радиуса к центру нужного кубика. Модель маленькая, поэтому результаты зависят от зерна случайности; разброс по нескольким зёрнам приведён в разборах миссий.

Одинаково в любом браузере. Экспонента, логарифм, гиперболический тангенс и косинус в движке собраны из сложений, умножений, деления и корня: встроенные в браузеры версии этих функций иногда расходятся в последнем знаке, а дообучение раздувает такую разницу до других чисел в лаборатории. Поэтому у тебя в Chrome, Safari и на телефоне получатся те же числа, что в разборах.

Таблица 6 повторилась на столе не целиком. Разница между обучением с нуля и дообучением видна: модель с нуля фиолетовый кубик не берёт, а предобученная VLM после дообучения переносит слово «фиолетовый» из веб-пар в действие. Забывание тоже видно, причём на всех трёх зёрнах: дообученная только на действиях модель разучивается описывать картинки, совместно дообученная — нет. А выигрыша совместного дообучения в действиях стол не показал: фиолетовый кубик обе модели берут примерно одинаково часто, на зерне В совместная даже уступает. У мини-модели всё знание о мире — шесть цветов и четыре формы, а слова «фиолетовый» в командах робота нет, поэтому дообучение на действиях его вектор не трогает, и переносу забывание почти не мешает. У RT-2 понятий из веб-данных несравнимо больше, и авторы объясняют выигрыш совместного дообучения тем, что модель их не забывает. Но и в статье он заметен только у большой модели: 63% против 52% на 55 миллиардах параметров и 44% против 42% на 5 миллиардах. Какие умения появились у робота, хотя им никто не учил?

🧩 Интерактив

Что появилось само

В данных робота были команды вида «возьми банку 7up» и «открой ящик». В веб-данных — цифры, логотипы, лица, слова других языков и рассуждения о картинках. Какие из этих знаний доходят до действий, а какие нет?

Авторы называют возникающими умениями (emergent capabilities) то, что модель делает без единой демонстрации такого рода, перенося знание из веб-данных, и делят их на три группы: понимание символов («подвинь яблоко к цифре 3», «поставь банку колы на сердечко»), рассуждение («подвинь яблоко к чашке того же цвета», «подвинь банан к сумме два плюс один», «mueve la manzana al vaso verde») и распознавание людей («подвинь банку колы к человеку в очках»). Каждую команду запускали по 5 раз на четырёх моделях в одинаковых условиях. В среднем RT-2-PaLI-X-55B справился в 60% случаев, RT-1 — в 17%, VC-1 — в 11%: больше чем втрое лучше ближайшего соперника. По группам у RT-2-PaLI-X: символы 82%, рассуждение 46%, люди 53%. Меньшая RT-2-PaLM-E-12B в среднем дала 40%, но в математике оказалась сильнее: 35% против 25%, что авторы связывают с другой смесью предобучения.

Ограничение переноса авторы формулируют заранее: новых движений от веб-данных ждать не стоит, переносятся понятия — предметы, отношения, символы. Физические навыки модели ограничены распределением навыков в данных робота, она лишь применяет их по-новому. В приложении перечислено, что RT-2 давалось плохо: взять предмет за конкретную часть, например за ручку; движения, которых не было в данных, — протереть стол полотенцем или использовать инструмент; точные движения вроде складывания полотенца; рассуждение в несколько шагов косвенности.

Разложи команды из статьи по трём группам. Перетащи карточку или нажми её, а потом группу.

Под капотом: цепочка рассуждений внутри VLA

Раз модель выдаёт текст, в ответ можно вставить рассуждение перед действием. Авторы дообучили вариант RT-2-PaLM-E всего несколько сотен шагов градиента на данных с добавленным шагом «Plan»: сначала словами описывается цель действия, потом идут токены действия. Пример из статьи: «Instruction: I’m hungry. Plan: pick rxbar chocolate. Action: 1 128 124 136 121 158 111 255». Эту добавку авторы называют мостом между наборами VQA, где учат рассуждать, и наборами манипуляции, где учат действовать.

С цепочкой рассуждений модель отвечала на команды сложнее: «Мне нужно забить гвоздь, какой предмет на сцене пригодится?» → «Rocks. Action: 1 129 138 122 132 135 106 127»; «Принеси попить» → «Plan: pick 7up can»; «Я хочу спать, принеси напиток, который поможет» → «Plan: Pick redbull can». Авторы подчёркивают, что это качественные наблюдения и первое свидетельство того, что планировщик на языковой модели из урока 2.3 и низкоуровневая политика могут жить в одной VLA.

Веб-данные дали роботу слова, символы и рассуждение, но не дали ни одного нового движения и стоят 1–3 Гц на кластере TPU. Что из идеи RT-2 осталось в моделях 2025–2026 годов?

3 Сегодня

Что осталось от этой идеи

Действия как токены словаря стали стандартным способом сделать VLA из готовой VLM. OpenVLA (2024), открытая модель на 7 миллиардов параметров на базе Llama 2, кодирует действия почти так же, как RT-2: каждую ось действия делят на 256 корзин, а под них переписывают 256 самых редких токенов словаря Llama — последние 256 токенов. Об OpenVLA и о том, как такие модели дообучают под своего робота, — урок 3.5.

Слабое место этого рецепта — частота. У RT-2 каждое действие стоит восемь токенов, которые модель выдаёт по одному, и даже на кластере TPU получается 1–3 Гц. Для аккуратных движений двумя руками нужны десятки действий в секунду, и авторы FAST (2025) показывают, что простое разбиение на корзины по каждой оси и каждому шагу плохо работает на высокочастотных данных: модель учится предсказывать почти одинаковые соседние токены. FAST сжимает последовательность действий через дискретное косинусное преобразование и уже сжатую превращает в токены; универсальный токенизатор FAST+ обучен на миллионе траекторий реальных роботов, а обучение VLA с ним ускоряется до пяти раз. Другой выход — вообще не выдавать действия токенами, а генерировать пачку непрерывных действий отдельной частью модели поверх той же VLM. Так устроена π0, о ней урок 3.6.

Совместное обучение с веб-данными тоже осталось, но не везде. π0.5 (Physical Intelligence, 2025; урок 3.8) учится на смеси записей роботов и веб-данных, а OpenVLA дообучали только на данных роботов. Насколько такая смесь нужна, зависит от размера модели и от того, насколько разнообразны данные робота. Что происходит, когда данные приходят не с одного робота, а с двадцати двух, — в следующем уроке.

4 Проверь себя

Восемь вопросов о типичных заблуждениях

5 Итог

Итоги урока

RT-2 — это готовая VLM, дообученная выдавать действия как текст: восемь целых чисел, каждое — корзина из 256. У PaLI-X числа до 1000 — собственные токены, у PaLM-E под действия переписаны 256 самых редких токенов. Новых параметров не добавляют.
Совместное дообучение — данные робота вместе с исходными веб-данными — нужно, чтобы модель не забыла понятия, выученные при обучении VLM. В статье оно заметно помогло большой модели: 63% против 52% на 55 млрд параметров, а на 5 млрд — лишь 44% против 42%. На столе забывание видно на подписях: дообученная только на действиях модель разучивается описывать картинки, совместно обученная — нет; в действиях разница мала.
На знакомых задачах RT-2 и RT-1 равны, в обобщении на новые предметы, фоны и обстановку RT-2 примерно вдвое лучше: 62% против 32%. С нуля та же архитектура обобщает в 9% случаев.
Из веб-данных переносятся понятия: символы, отношения, слова других языков, лица. Новых движений не появляется: физические навыки ограничены данными робота.
Цепочка рассуждений вписывается в тот же текст: «Plan: …» перед токенами действия после нескольких сотен шагов дообучения.
Цена — скорость: 55 миллиардов параметров в облаке на TPU дают 1–3 Гц. Отсюда FAST, сжимающий токены действий, и π0 с отдельной частью для непрерывных действий.

Открытые вопросы

Корзины у RT-2 равномерные. Что это значит для точных движений?

Ширина корзины — 1/255 диапазона оси, и она одинакова и для размашистого переноса, и для подвода захвата к ручке. Если диапазон смещения широкий, точности для мелких движений не хватает; если узкий, нельзя двигаться быстро. OpenVLA ставит границы корзин по квантилям данных, чтобы редкие большие смещения не растягивали шкалу, а FAST уходит от корзин по осям к сжатию всей последовательности действий. Можно ли сделать корзины неравномерными так, чтобы они оставались обычными токенами, — вопрос открытый.

Веб-данные учат модель словам, но не движениям. Откуда брать движения, которых нет в демонстрациях?

Авторы RT-2 называют направлением видео людей: там движений много, но нет ни действий робота, ни его тела. Другой путь — больше данных с разных роботов, об этом урок 3.4. Третий — учить модель на собственном опыте, когда она уже умеет действовать: так учится π*0.6 (Physical Intelligence, 2025), о ней урок 3.8. Пока ни один из них не дал того, что веб-данные дали для слов.

Гид по статье

A. Brohan и соавторы, «RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control», Google DeepMind, 2023.

Читать внимательноРаздел 3.2 про кодирование действий, два словаря и совместное дообучение; раздел 4.3 и таблицу 6: с нуля, дообучение и совместное дообучение на одной архитектуре; раздел 4.2 и рисунок 8 с примерами возникающих умений.
Можно пропуститьПриложение A с распределением вкладов авторов, приложение D про архитектуры PaLI-X и PaLM-E, если урок 3.2 свеж в памяти, и полные списки команд в таблицах 2 и 3.
Вопрос по ходуВ таблице 6 на 5 миллиардах совместное дообучение выигрывает у простого дообучения 44% против 42%, а на 55 миллиардах — 63% против 52%. Почему разрыв растёт с размером модели, и что должно происходить с забыванием у ещё большей модели?

Материалы

RT-2Страница проекта: видео с роботом, примеры возникающих умений и цепочки рассуждений
RT-1Статья, из которой взяты данные робота и разбиение действий на 256 корзин
OpenVLAОткрытая VLA на 7 млрд параметров с тем же кодированием действий
FASTТокенизация действий через дискретное косинусное преобразование

➡️

Дальше: Open X-Embodiment. RT-2 учился на данных одного робота из одной кухни, и в обобщении ему помогли веб-данные. В уроке 3.4 данные приходят с 22 роботов разных лабораторий в общем формате, и вопрос ставится иначе: помогает ли одной руке опыт другой — урок 3.4.

Урок был понятен?

Нашли ошибку или неточность? Сообщить на GitHub

Урок пригодился? Скажи спасибо — так автор узнает, что курс читают.