Výzkum Dr. Yu Suna: Pokrok v umělé inteligenci pomocí hyperbolických výpočtů Dr. Yu Sun spolu s výzkumníky ze Stanfordu, UC Berkeley, UCSD a UT Austin posouvá hranice generativní umělé inteligence pomocí GPU infrastruktury Hyperbolic Labs. Dva průlomové projekty: minutové generování videa a adaptivní sítě RNN. 🧵

Minutové generování 🎥 videa Většina video modelů jako Sora a Veo je omezena na ~20 s. Sunův tým představil vrstvy Test-Time Training (TTT) – adaptivní neuronové stavy, které se vyvíjejí při odvozování – díky nimž je možné 1minutová videa z jediné výzvy bez následných úprav.

Infra a výsledky > 256× NVIDIA H100s přes @hyperbolic_ai Model >: 5B nebo CogVideo-X > Délka kontextu: 300 000 tokenů > Runtime: 50 GPU-hodin > Datová sada: 7 hodin storyboarded karikatury > +34 Elo vs Mamba 2 základní linie > papíru 📄

Sítě RNN s expresivními skrytými stavy 🔁 Standardní sítě RNN degradují nad 16 tisíc token. Tým Dr. Suna vytvořil TTT-Linear a TTT-MLP – skryté stavy, které jsou naučitelnou neuronovou sítí. Ty se přizpůsobují během odvozování pomocí samokontroly založené na gradientu.

Výsledky > Délka kontextu: 32 000 tokenů Měřítko modelu >: 125M až 1,3B parametry Zrychlení běhu >: 5 × pomocí optimalizace duálního formuláře > Lineární čas, konstantní paměť > překonává nebo se vyrovná Transformeru, Mambě, DeltaNetu > kód:

Hyperbolická infra = Umožňovač výzkumu Stabilní clustery H100 společnosti Hyperbolic s vysokou propustností podporovaly zpracování 300 tisíc tokenů, perzistentní prostředí pro optimalizaci vnitřní smyčky a škálovatelné zdroje pro experimenty odpovídající FLOP.

"Grafické procesory a služby H100 společnosti Hyperbolic poskytly spolehlivost, která nám umožnila prototypovat náš výzkum v testovacím čase. Jejich infrastruktura usnadnila škálování našich modelů pro generování minutových videí z textových scénářů. Mohli jsme se soustředit na výzkum spíše než na řešení problémů s infrastrukturou." — Dr. Yu Sun

Budoucnost generativní umělé inteligence a sekvenčního modelování je tady. S vrstvami TTT a škálovatelnými výpočetními prostředky se otevírají nové hranice. Pronajměte si grafické procesory na vyžádání hned teď za Podívejte se na celý blog: