O Dynamo 0.4 chegou e oferece 4x de desempenho de inferência no Blackwell com serviço desagregado. ⚡️ As novas funcionalidades incluem: • Autoscaling desagregado baseado em SLO • Nova ferramenta de dimensionamento desagregado • Métricas de observabilidade específicas de LLM em tempo real • Tolerância a falhas com redirecionamento de solicitações em andamento • Guias de desenvolvedor paralelos de grande escala GB200 NVL72 Essas funcionalidades ajudam as Fábricas de IA a reduzir os custos de serviço de inferência, a atender consistentemente os objetivos de nível de serviço, a eliminar a incerteza na configuração de ambientes de serviço desagregado e a aumentar a resiliência do sistema de inferência. 🔗 Estamos construindo o NVIDIA Dynamo de forma aberta e valorizamos sua contribuição 👇 Confira nosso repositório no GitHub e junte-se à comunidade NVIDIA Dynamo ➡️
1,17K