Знайомимося з нашою новою відеомоделлю frontier — Runway Gen-4.5. Раніше відомий як Whisper Thunder (також відомий як Девід). Gen-4.5 є найсучаснішим і встановлює новий стандарт якості руху відео, дотримання швидких сигналів і візуальної якості. Дізнайтеся більше нижче.

Runway Gen-4.5 є значним досягненням як у ефективності даних перед тренуванням, так і в техніках післянавчання для відеомоделей, а також слугує нашою новою базовою моделлю для моделювання світу. Gen-4.5 набрало 1 247 Elo балів у таблиці лідерів Artificial Analysis Text to Video, встановивши новий стандарт і перевершивши всі інші AI-відеомоделі у світі.

Два роки тому ми представили Gen-1 — першу публічно доступну модель для генерації відео. Це дало змогу створити абсолютно нову форму творчого самовираження та створило нову категорію продуктів. За останні два роки ми лідирували в галузі у підвищенні потужності та керованості відеомоделей — від значних покращень базових моделей до впровадження нових елементів керування та загальних можливостей редагування. Сьогодні ми представляємо Gen-4.5 — підсумок тривалих досліджень з розвитку відеомоделей до та після навчання.

Модель чудово розуміє та виконує складні, послідовні інструкції. Ви можете вказати детальну хореографію камери, складні композиції сцен, точний таймінг подій і тонкі атмосферні зміни — все це в одному підказці. Ми залишаємося відданими створенню висококонтрольованих і гнучких інструментів, які допоможуть вам втілити ваше конкретне бачення в життя. Окрім Text to Video, ми перенесемо всі існуючі режими керування (Image to Video, Keyframes, Video to Video) та інші у Gen-4.5.

Gen-4.5 досягає безпрецедентного рівня фізичної точності та візуальної точності. Об'єкти рухаються з реалістичною вагою та імпульсом. Поверхні поводяться так, як у реальному світі. Закони фізики можна як спостерігати, так і ігнорувати, залежно від вашого зору. Попри значний стрибок у можливостях, обмеження залишаються, такі як невдачі в причинному мисленні та постійності об'єкта. Ми вважаємо, що ці режими відмов потрібно вирішувати для подальшого розвитку моделювання світу, і активно працюємо над їх вирішенням.

Gen-4.5 був повністю розроблений на GPU NVIDIA через початкові дослідження та розробки, попереднє навчання, постнавчання та висновки. Ми тісно співпрацювали з NVIDIA, щоб розширити межі можливостей оптимізації моделей дифузії відео — від ефективності навчання до швидкості виведення. Виведення моделей працює на GPU серії NVIDIA Hopper і Blackwell, забезпечуючи оптимізовану продуктивність без шкоди для якості. Підхід, орієнтований на перший у галузі, дозволяє Gen-4.5 досягти безпрецедентних можливостей.

Ми поступово розгортаємо доступ до Runway Gen-4.5. Вона буде доступна всім у найближчі дні. Дізнатися більше:

Gen-4.5 був повністю розроблений на @nvidia GPU у рамках початкових досліджень і розробок, попереднього навчання, післянавчання та висновків. Ми тісно співпрацювали з NVIDIA, щоб розширити межі можливостей оптимізації моделей дифузії відео — від ефективності навчання до швидкості виведення. Виведення моделей працює на GPU серії NVIDIA Hopper і Blackwell, забезпечуючи оптимізовану продуктивність без шкоди для якості. Підхід, орієнтований на перший у галузі, дозволяє Gen-4.5 досягти безпрецедентних можливостей.

@nvidia Ми поступово розгортаємо доступ до злітно-посадкової смуги Gen-4.5. Вона буде доступна всім у найближчі дні. Дізнатися більше: