Dynamo 0.4 已經發布,提供了在 Blackwell 上 4 倍的推理性能,支持分離式服務。⚡️ 新功能包括: • 基於 SLO 的分離式自動擴展 • 新的分離式尺寸工具 • 實時 LLM 特定可觀察性指標 • 故障容忍的請求重定向 • GB200 NVL72 大規模專家並行開發指南 這些功能幫助 AI 工廠降低推理服務成本,始終滿足服務水平目標,消除設置分離式服務環境的猜測工作,並增強推理系統的彈性。 🔗 我們在開放環境中構建 NVIDIA Dynamo,期待您的貢獻 👇 查看我們的 GitHub 倉庫並加入 NVIDIA Dynamo 社區 ➡️
1.18K