⭐️ π₀-FAST is nu in LeRobot ⭐️ Ik ben enthousiast om mijn nieuwste werk in @LeRobotHF te delen: π₀-FAST volledig in de stack brengen. De originele Pi-FAST-implementatie was alleen beschikbaar in JAX, dus hebben we het opnieuw opgebouwd in PyTorch, beginnend met π₀, inclusief het cross-entropy verliesdoel, het FAST-tokenisatie schema en inferentie-optimalisaties zoals KV-caching. π₀-FAST is het meest geavanceerde autoregressieve Vision-Language-Action model tot nu toe van @physical_int. Het bevat een ingebouwde actie-tokenizer, FAST, die continue acties omzet in discrete tokens (zoals JPEG-compressie). Dat betekent dat π₀-FAST kan worden getraind met LLM-stijl next-token voorspelling. Zodra alles tokens zijn, gaan er veel deuren open voor de gemeenschap: > Pretrain π₀-FAST eenvoudig met een next-token doel over datasets, belichamingen en zelfs nieuwe token types (bounding boxes, taal, proprioceptie; het zijn allemaal tokens). Let op dat next-token voorspelling ~5× sneller traint dan diffusie of flow-matching. > Hergebruik dezelfde gewichten en fine-tune met een flow-matching doel op jouw doeltaak voor snellere inferentie. Je kunt ook je eigen FAST-tokenizer trainen op elke LeRobot-dataset met het `lerobot-train-tokenizer` commando. Zo cool. Aan de systeemzijde hebben we LLM-stijl KV-caching toegevoegd bij inferentie, wat een ~5× versnelling geeft voor autoregressieve decodering. We hebben geëvalueerd op LIBERO en bereikten 82,5% succes @ 40k stappen (stijging van ~40% toen het vorig jaar voor het eerst werd overgezet). Dit legt de basis voor hybride AR + flow-matching recepten en π₀.₅-stijl kennisisolatie binnen LeRobot. 👉 Docs: 🤖 Pi0Fast basis checkpoint: