Dynamo 0.4 が登場し、細分化されたサービングで Blackwell で 4 倍の推論パフォーマンスを実現します。⚡️ 新機能は次のとおりです。 • SLO ベースの細分化された自動スケーリング • 新しい細分化されたサイジング ツール • リアルタイム LLM 固有の可観測性メトリック フォールト トレランス インフライト リクエストの再ルーティング - GB200 NVL72 大規模エキスパートパラレル開発者ガイド これらの機能は、AI ファクトリーが推論サービングのコストを削減し、サービスレベル目標を一貫して達成し、細分化されたサービング環境を設定する際の推測作業を排除し、推論システムの回復力を強化するのに役立ちます。 🔗 NVIDIA Dynamo はオープンに構築されており、皆様の貢献👇を高く評価しています GitHub でリポジトリをチェックして、NVIDIA Dynamo コミュニティ➡️に参加してください
1.15K