⭐️ π₀-FAST è ora in LeRobot ⭐️ Sono entusiasta di condividere il mio ultimo lavoro in @LeRobotHF: portare π₀-FAST completamente nello stack. L'implementazione originale di Pi-FAST era disponibile solo in JAX, quindi l'abbiamo ricostruita in PyTorch, partendo da π₀, inclusi l'obiettivo di perdita di entropia incrociata, lo schema di tokenizzazione FAST e ottimizzazioni per l'inferenza come il KV-caching. π₀-FAST è il modello autoregressivo Vision-Language-Action più avanzato fino ad oggi da @physical_int. Include un tokenizzatore di azioni integrato, FAST, che trasforma azioni continue in token discreti (come la compressione JPEG). Ciò significa che π₀-FAST può essere addestrato con la previsione del prossimo token in stile LLM. Una volta che tutto è token, si aprono molte porte per la comunità: > Pre-addestra facilmente π₀-FAST con un obiettivo di prossimo token su dataset, incarnazioni e persino nuovi tipi di token (scatole di delimitazione, linguaggio, propriocezione; sono tutti token). Nota che la previsione del prossimo token si allena ~5× più velocemente rispetto alla diffusione o al flow-matching. > Riutilizza gli stessi pesi e affina con un obiettivo di flow-matching sul tuo compito target per un'inferenza più veloce. Puoi anche addestrare il tuo tokenizzatore FAST su qualsiasi dataset di LeRobot utilizzando il comando `lerobot-train-tokenizer`. Così figo. Dal lato dei sistemi, abbiamo aggiunto KV-caching in stile LLM all'inferenza, dando un'accelerazione di ~5× per la decodifica autoregressiva. Abbiamo valutato su LIBERO e raggiunto l'82,5% di successo @ 40k passi (in aumento rispetto a ~40% quando è stato portato per la prima volta l'anno scorso). Questo prepara il terreno per ricette ibride AR + flow-matching e isolamento della conoscenza in stile π₀.₅ all'interno di LeRobot. 👉 Documenti: 🤖 Pi0Fast base checkpoint: