⭐️ π₀-FAST jest teraz w LeRobot ⭐️ Cieszę się, że mogę podzielić się moją najnowszą pracą w @LeRobotHF: wprowadzenie π₀-FAST w pełni do stosu. Oryginalna implementacja Pi-FAST była dostępna tylko w JAX, więc przebudowaliśmy ją w PyTorch, zaczynając od π₀, w tym celu funkcji straty cross entropy, schematu tokenizacji FAST oraz optymalizacji wnioskowania, takich jak KV-caching. π₀-FAST to najbardziej zaawansowany autoregresywny model Vision-Language-Action do tej pory od @physical_int. Zawiera wbudowany tokenizator akcji, FAST, który przekształca ciągłe akcje w dyskretne tokeny (jak kompresja JPEG). To oznacza, że π₀-FAST może być trenowany z celem przewidywania następnego tokena w stylu LLM. Gdy wszystko jest tokenami, otwiera się wiele drzwi dla społeczności: > Łatwo wstępnie trenować π₀-FAST z celem przewidywania następnego tokena w różnych zbiorach danych, wcieleniach, a nawet nowych typach tokenów (ramki ograniczające, język, propriocepcja; to wszystko są tokeny). Zauważ, że przewidywanie następnego tokena trenuje się ~5× szybciej niż dyfuzja lub dopasowywanie przepływu. > Wykorzystaj te same wagi i dostosuj je z celem dopasowywania przepływu do swojego docelowego zadania, aby uzyskać szybsze wnioskowanie. Możesz również trenować własny tokenizator FAST na dowolnym zbiorze danych LeRobot, używając polecenia `lerobot-train-tokenizer`. Tak fajnie. Po stronie systemów dodaliśmy KV-caching w stylu LLM podczas wnioskowania, co daje ~5× przyspieszenie dla dekodowania autoregresywnego. Oceniliśmy na LIBERO i osiągnęliśmy 82,5% sukcesu przy 40k krokach (wzrost z ~40%, gdy po raz pierwszy został przeniesiony w zeszłym roku). To stawia scenę dla hybrydowych przepisów AR + dopasowywania przepływu oraz izolacji wiedzy w stylu π₀.₅ wewnątrz LeRobot. 👉 Dokumentacja: 🤖 Punkt kontrolny podstawowy Pi0Fast: