⭐️ π₀-FAST теперь в LeRobot ⭐️ Я рад поделиться своей последней работой в @LeRobotHF: полное внедрение π₀-FAST в стек. Оригинальная реализация Pi-FAST была доступна только в JAX, поэтому мы переписали её на PyTorch, начиная с π₀, включая цель потерь перекрестной энтропии, схему токенизации FAST и оптимизации вывода, такие как KV-кэширование. π₀-FAST — это самая продвинутая авторегрессионная модель «Визуальный-Язык-Действие» на сегодняшний день от @physical_int. Она включает встроенный токенизатор действий, FAST, который преобразует непрерывные действия в дискретные токены (как сжатие JPEG). Это означает, что π₀-FAST можно обучать с использованием предсказания следующего токена в стиле LLM. Как только всё становится токенами, для сообщества открывается множество возможностей: > Легко предварительно обучить π₀-FAST с целью следующего токена на различных наборах данных, воплощениях и даже новых типах токенов (ограничивающие рамки, язык, проприоцепция; это всё токены). Обратите внимание, что предсказание следующего токена обучается примерно в 5 раз быстрее, чем диффузия или сопоставление потока. > Повторно используйте те же веса и дообучайте с целью сопоставления потока на вашей целевой задаче для более быстрого вывода. Вы также можете обучить свой собственный токенизатор FAST на любом наборе данных LeRobot, используя команду `lerobot-train-tokenizer`. Так круто. С точки зрения систем, мы добавили KV-кэширование в стиле LLM на этапе вывода, что дает ускорение примерно в 5 раз для авторегрессионного декодирования. Мы оценили на LIBERO и достигли 82.5% успеха при 40k шагах (выросло с ~40%, когда это было впервые портировано в прошлом году). Это закладывает основу для гибридных рецептов AR + сопоставления потока и изоляции знаний в стиле π₀.₅ внутри LeRobot. 👉 Документация: 🤖 Базовая контрольная точка Pi0Fast: