Ricerca del Dr. Yu Sun: Avanzare l'IA con il Calcolo Iperbolico Il Dr. Yu Sun, insieme a ricercatori di Stanford, UC Berkeley, UCSD e UT Austin, sta spingendo i confini dell'IA generativa utilizzando l'infrastruttura GPU di Hyperbolic Labs. Due progetti rivoluzionari: generazione di video di un minuto e RNN adattivi. 🧵

Generazione di video di un minuto 🎥 La maggior parte dei modelli video come Sora e Veo si limita a circa 20 secondi. Il team di Sun ha introdotto i layer di Test-Time Training (TTT)—stati neurali adattivi che evolvono durante l'inferenza—rendendo possibile la creazione di video di un minuto da un singolo prompt senza post-editing.

Infrastruttura e Risultati > 256× NVIDIA H100 tramite @hyperbolic_ai > Modello: 5B param CogVideo-X > Lunghezza del contesto: 300.000 token > Tempo di esecuzione: 50 ore GPU > Dataset: 7 ore di cartoni animati storyboardati > +34 Elo rispetto al baseline Mamba 2 > Documento 📄

RNN con stati nascosti espressivi 🔁 Le RNN standard degradano oltre 16k token. Il team del Dr. Sun ha costruito TTT-Linear e TTT-MLP: stati nascosti che sono reti neurali apprendibili. Queste si adattano durante l'inferenza utilizzando l'auto-supervisione basata sul gradiente.

Risultati > Lunghezza del contesto: 32.000 token > Scala del modello: da 125M a 1,3B parametri > Accelerazione del runtime: 5× tramite ottimizzazione dual-form > Tempo lineare, memoria costante > Supera o eguaglia Transformer, Mamba, DeltaNet > Codice:

Hyperbolic Infra = Abilitante della Ricerca I cluster H100 stabili e ad alta capacità di Hyperbolic hanno supportato l'elaborazione di 300k-token, ambienti persistenti per l'ottimizzazione del ciclo interno e risorse scalabili per esperimenti abbinati ai FLOP.

"Le GPU H100 e i servizi di Hyperbolic hanno fornito l'affidabilità che ci ha permesso di prototipare la nostra ricerca nel training in tempo di test. La loro infrastruttura ha reso più facile scalare i nostri modelli per generare video di un minuto a partire da storyboard testuali. Siamo stati in grado di concentrarci sulla ricerca piuttosto che affrontare problemi infrastrutturali." — Dr. Yu Sun

Il futuro dell'AI generativa e della modellazione delle sequenze è qui. Con i livelli TTT e il calcolo scalabile, si stanno sbloccando nuove frontiere. Noleggia GPU on-demand ora su Scopri il blog completo: