3 Часть 3 · Foundation-модели для роботов
Проверка части 3
Квиз в конце урока проверяет урок сразу после чтения. Здесь задания по всем урокам части идут вперемешку: так видно, что держится в памяти и связываются ли темы между собой. В конце — балл по каждому уроку и ссылки на разделы, которые стоит повторить.
3.1–3.2RT-1 и vision-language модели: действия как токены, картинка в языковой модели
3.3–3.4RT-2 и Open X-Embodiment: совместное дообучение, один формат для 22 роботов
3.5–3.6Octo, OpenVLA и π0: открытые модели, LoRA, пачки действий на flow matching
3.7–3.8Двухуровневые архитектуры и π0.5–π0.7: две системы, подзадачи словами, обобщение
✓ Итог
Итог проверки
Что повторить
➡️
Дальше: часть 4, данные для обучения роботов. Модели части 3 съедают тысячи часов демонстраций. Часть 4 о том, откуда их брать: телеоперация и устройства сбора, датасеты, видео людей, симуляция и маховик данных.