Forskning av Dr. Yu Sun: Utveckla AI med hyperbolisk beräkning Dr. Yu Sun, tillsammans med forskare från Stanford, UC Berkeley, UCSD och UT Austin, tänjer på gränserna för generativ AI med hjälp av Hyperbolic Labs GPU-infrastruktur. Två banbrytande projekt: minutlång videogenerering och adaptiva RNN:er. 🧵

Minutlång videogenerering 🎥 De flesta videomodeller som Sora och Veo kepsar på ~20s. Suns team introducerade TTT-lager (Test-Time Training) – adaptiva neurala tillstånd som utvecklas vid inferens – vilket gör det möjligt att spela in 1-minutsvideor från en enda uppmaning utan efterredigering.

Infra och resultat > 256× NVIDIA H100s via @hyperbolic_ai > Modell: 5B för CogVideo-X > Kontextlängd: 300 000 tokens > Körtid: 50 GPU-timmar > Dataset: 7 timmar storyboardade tecknade serier > +34 Elo mot Mamba 2 baslinje > Papper 📄

RNN:er med uttrycksfulla dolda tillstånd 🔁 Standard RNN:er försämras över 16k tokens. Dr. Suns team byggde TTT-Linear och TTT-MLP – dolda tillstånd som är neurala nätverk som går att lära sig. Dessa anpassar sig under inferensen med hjälp av gradientbaserad självövervakning.

Resultat > Kontextlängd: 32 000 tokens > modellskala: 125 M till 1,3 B parametrar > Körtid Speedup: 5× via optimering med dubbla former > Linjär tid, konstant minne > överträffar eller matchar Transformer, Mamba, DeltaNet > kod:

Hyperbolisk Infra = Möjliggörare för forskning Hyperbolics stabila H100-kluster med hög genomströmning stödde 300k-tokenbearbetning, beständiga miljöer för optimering av inre loopar och skalbara resurser för FLOP-matchade experiment.

"Hyperbolics H100 GPU:er och tjänster gav den tillförlitlighet som gjorde det möjligt för oss att skapa en prototyp av vår forskning i testtidsträning. Deras infrastruktur gjorde det enklare att skala våra modeller för att generera enminutsvideor från textstoryboards. Vi kunde fokusera på forskning i stället för att ta itu med infrastrukturfrågor." — Dr. Yu Sun

Framtiden för generativ AI och sekvensmodellering är här. Med TTT-lager och skalbar beräkning öppnas nya gränser upp. Hyr on-demand GPU:er nu på Kolla in hela bloggen: