Dynamo 0.4 ya está aquí y ofrece un rendimiento de inferencia 4 veces mayor en Blackwell con servicio desagregado. ⚡️ Las nuevas características incluyen: • Escalado automático desagregado basado en SLO • Nueva herramienta de dimensionamiento desagregado • Métricas de observabilidad específicas de LLM en tiempo real • Redireccionamiento de solicitudes en vuelo de tolerancia a fallas • Guías de desarrollo paralelo experto a gran escala GB200 NVL72 Estas características ayudan a AI Factories a reducir los costos de servicio de inferencia, cumplir constantemente los objetivos de nivel de servicio, eliminar las conjeturas para configurar entornos de servicio desagregados y mejorar la resiliencia del sistema de inferencia. 🔗 Estamos construyendo NVIDIA Dynamo de forma abierta y valoramos su contribución 👇 Echa un vistazo a nuestro repositorio en GitHub y únete a la comunidad ➡️ de NVIDIA Dynamo
1.16K