Presentiamo il nostro nuovo modello video di frontiera, Runway Gen-4.5. Precedentemente conosciuto come Whisper Thunder (alias) David. Gen-4.5 è all'avanguardia e stabilisce un nuovo standard per la qualità del movimento nella generazione video, l'aderenza ai prompt e la fedeltà visiva. Scopri di più qui sotto.

Runway Gen-4.5 rappresenta significativi progressi sia nell'efficienza dei dati di pre-addestramento che nelle tecniche di post-addestramento per i modelli video e funge da nostro nuovo modello di base per la modellazione del mondo. Gen-4.5 ha ottenuto 1.247 punti Elo nella classifica Artificial Analysis Text to Video, stabilendo un nuovo standard e superando tutti gli altri modelli video AI nel mondo.

Due anni fa, abbiamo introdotto Gen-1, il primo modello di generazione video disponibile pubblicamente. Ha abilitato una forma completamente nuova di espressione creativa e ha creato una nuova categoria di prodotto. Negli ultimi due anni, abbiamo guidato l'industria nel rendere i modelli video più potenti e controllabili, portando miglioramenti significativi ai modelli di base e abilitando nuovi controlli e capacità di editing generale. Oggi, stiamo introducendo Gen-4.5 — il culmine di un lungo sforzo di ricerca per avanzare nel pre-addestramento e post-addestramento dei modelli video.

Il modello eccelle nella comprensione e nell'esecuzione di istruzioni complesse e sequenziali. Puoi specificare coreografie dettagliate della fotocamera, composizioni di scene intricate, tempistiche precise degli eventi e sottili cambiamenti atmosferici, il tutto all'interno di un unico prompt. Rimaniamo impegnati a creare strumenti altamente controllabili e flessibili che ti aiutino a realizzare esattamente la tua visione. Oltre a Text to Video, porteremo tutti i modelli di controllo esistenti (Image to Video, Keyframes, Video to Video) e altro ancora a Gen-4.5.

Gen-4.5 raggiunge un livello senza precedenti di accuratezza fisica e precisione visiva. Gli oggetti si muovono con peso e slancio realistici. Le superfici si comportano come farebbero nel mondo reale. Le leggi della fisica possono essere sia osservate che ignorate, a seconda della tua visione. Nonostante il grande salto nelle capacità, rimangono delle limitazioni, come i fallimenti nel ragionamento causale e nella permanenza degli oggetti. Crediamo che questi modi di fallimento debbano essere affrontati per avanzare ulteriormente nella modellazione del mondo e stiamo lavorando attivamente per risolverli.

Gen-4.5 è stato sviluppato interamente su GPU NVIDIA durante la fase iniziale di R&D, pre-addestramento, post-addestramento e inferenza. Abbiamo collaborato ampiamente con NVIDIA per spingere i confini di ciò che è possibile nell'ottimizzazione dei modelli di diffusione video, dall'efficienza dell'addestramento alla velocità di inferenza. L'inferenza del modello viene eseguita su GPU della serie NVIDIA Hopper e Blackwell, offrendo prestazioni ottimizzate senza compromettere la qualità. Un approccio senza precedenti nel settore che consente a Gen-4.5 di raggiungere capacità senza precedenti.

Stiamo gradualmente implementando l'accesso a Runway Gen-4.5. Sarà disponibile per tutti nei prossimi giorni. Scopri di più:

Gen-4.5 è stato sviluppato interamente su GPU @nvidia durante la fase iniziale di R&D, pre-addestramento, post-addestramento e inferenza. Abbiamo collaborato ampiamente con NVIDIA per spingere i confini di ciò che è possibile nell'ottimizzazione dei modelli di diffusione video, dall'efficienza dell'addestramento alla velocità di inferenza. L'inferenza del modello viene eseguita su GPU della serie NVIDIA Hopper e Blackwell, offrendo prestazioni ottimizzate senza compromettere la qualità. Un approccio pionieristico che consente a Gen-4.5 di raggiungere capacità senza precedenti.

@nvidia Stiamo gradualmente implementando l'accesso a Runway Gen-4.5. Sarà disponibile per tutti nei prossimi giorni. Scopri di più: