⭐️ π₀-FAST est maintenant dans LeRobot ⭐️ Je suis ravi de partager mon dernier travail dans @LeRobotHF : intégrer π₀-FAST entièrement dans la pile. L'implémentation originale de Pi-FAST n'était disponible qu'en JAX, nous l'avons donc reconstruite en PyTorch, en partant de π₀, y compris l'objectif de perte d'entropie croisée, le schéma de tokenisation FAST et des optimisations d'inférence comme le KV-caching. π₀-FAST est le modèle autoregressif Vision-Language-Action le plus avancé à ce jour par @physical_int. Il comprend un tokenizer d'action intégré, FAST, qui transforme des actions continues en tokens discrets (comme la compression JPEG). Cela signifie que π₀-FAST peut être entraîné avec une prédiction de prochain token de style LLM. Une fois que tout est des tokens, beaucoup de portes s'ouvrent pour la communauté : > Préentraînez facilement π₀-FAST avec un objectif de prochain token à travers des ensembles de données, des incarnations et même de nouveaux types de tokens (boîtes englobantes, langage, proprioception ; ce sont tous des tokens). Notez que la prédiction du prochain token s'entraîne ~5× plus vite que la diffusion ou le flow-matching. > Réutilisez les mêmes poids et affinez avec un objectif de flow-matching sur votre tâche cible pour une inférence plus rapide. Vous pouvez également entraîner votre propre tokenizer FAST sur n'importe quel ensemble de données LeRobot en utilisant la commande `lerobot-train-tokenizer`. Trop cool. Du côté des systèmes, nous avons ajouté un KV-caching de style LLM à l'inférence, offrant un gain de vitesse d'environ ~5× pour le décodage autoregressif. Nous avons évalué sur LIBERO et atteint 82,5 % de succès @ 40k étapes (contre ~40 % lors de son premier portage l'année dernière). Cela prépare le terrain pour des recettes hybrides AR + flow-matching et l'isolation des connaissances de style π₀.₅ à l'intérieur de LeRobot. 👉 Docs : 🤖 Point de contrôle de base Pi0Fast :