Yu Sun 博士による研究: 双曲線コンピューティングによる AI の進歩 Yu Sun 博士は、スタンフォード大学、カリフォルニア大学バークレー校、UCSD、UT オースティンの研究者らとともに、Hyperbolic Labs の GPU インフラストラクチャを使用して生成 AI のフロンティアを押し広げています。 2つの画期的なプロジェクト:1分間のビデオ生成と適応型RNN。 🧵

1分間のビデオ生成 🎥 SoraやVeoのようなほとんどのビデオモデルは、~20秒を上限としています。Sun 氏のチームは、推論時に進化する適応ニューラル状態であるテストタイムトレーニング (TTT) レイヤーを導入し、ポストエディットなしで 1 つのプロンプトから 1 分間のビデオを可能にしました。

インフラと結果 > 256× NVIDIA H100 を @hyperbolic_ai 経由で >モデル:5BパラメータCogVideo-X > コンテキストの長さ: 300,000 トークン > ランタイム: 50 GPU 時間 > データセット: 7 時間の絵コンテ付き漫画 > +34 Elo vs Mamba 2 ベースライン >紙 📄

表現力豊かな隠れ状態🔁を持つRNN 標準の RNN は 16k トークンを超えると劣化します。Sun 博士のチームは、学習可能なニューラル ネットワークである隠れ状態である TTT-Linear と TTT-MLP を構築しました。これらは、勾配ベースの自己監督を使用して推論中に適応します。

業績 > コンテキストの長さ: 32,000 トークン >モデルスケール:125M〜1.3Bパラメータ > ランタイムの高速化:デュアルフォーム最適化による5× > 線形時間、定数メモリ > Transformer、Mamba、DeltaNetを上回る、または同等の性能を発揮します >コード:

双曲線インフラ = 研究イネーブラー Hyperbolic の安定した高スループットの H100 クラスターは、300k トークン処理、内部ループ最適化のための永続環境、FLOP マッチング実験用のスケーラブルなリソースをサポートしました。

「Hyperbolic の H100 GPU とサービスは、テスト時のトレーニングで研究のプロトタイプを作成することを可能にする信頼性を提供してくれました。彼らのインフラストラクチャにより、テキスト ストーリーボードから 1 分間のビデオを生成するようにモデルを簡単にスケーリングできるようになりました。インフラの問題に対処するのではなく、研究に集中することができました。」 — Yu Sun 博士

生成AIとシーケンスモデリングの未来がここにあります。TTT レイヤーとスケーラブルなコンピューティングにより、新たなフロンティアが開かれています。 オンデマンドGPUを今すぐレンタル ブログ全文をご覧ください。