Dynamo 0.4 er her og leverer 4x inferensytelse på Blackwell med disaggregert servering. ⚡️ Nye funksjoner inkluderer: • SLO-basert disaggregert autoskalering • Nytt disaggregert størrelsesverktøy • LLM-spesifikke observerbarhetsmålinger i sanntid • Omdirigering av forespørsel om bord med feiltoleranse • GB200 NVL72 parallelle utviklerveiledninger for eksperter i stor skala Disse funksjonene hjelper AI-fabrikker med å redusere slutningsbetjeningskostnader, konsekvent oppfylle servicenivåmål, fjerne gjetting for å konfigurere disaggregerte serveringsmiljøer og forbedre robustheten til slutningssystemet. 🔗 Vi bygger NVIDIA Dynamo i det åpne og verdsetter ditt bidrag 👇 Sjekk ut repositoriet vårt på GitHub og bli med i NVIDIA Dynamo-fellesskapet ➡️
1,18K