Dynamo 0.4 är här och levererar 4x inferensprestanda på Blackwell med disaggregerad servering. ⚡️ Bland de nya funktionerna finns: • SLO-baserad disaggregerad autoskalning • Nytt verktyg för disaggregerad storleksändring • LLM-specifika observerbarhetsmått i realtid • Omdirigering av feltolerans vid begäran under flygning • GB200 NVL72 storskaliga expertguider för parallella framkallare Dessa funktioner hjälper AI Factories att minska kostnaderna för inferensservering, konsekvent uppfylla servicenivåmålen, ta bort gissningsarbetet för att konfigurera disaggregerade serveringsmiljöer och förbättra motståndskraften hos inferenssystemet. 🔗 Vi bygger NVIDIA Dynamo i det fria och värdesätter ditt bidrag 👇 Kolla in vår lagringsplats på GitHub och gå med i NVIDIA Dynamo-communityn ➡️
1,61K