Dynamo 0.4 hadir dan memberikan kinerja inferensi 4x pada Blackwell dengan penyajian terpilah. ⚡️ Fitur baru meliputi: • Penskalaan otomatis terpilah berbasis SLO • Alat ukuran terpilah baru • Metrik observabilitas khusus LLM waktu nyata • Perutean ulang permintaan toleransi kesalahan dalam penerbangan • GB200 NVL72 panduan pengembang paralel ahli skala besar Fitur-fitur ini membantu Pabrik AI mengurangi biaya penyajian inferensi, secara konsisten memenuhi tujuan tingkat layanan, menghilangkan dugaan untuk menyiapkan lingkungan penyajian terpilah, dan meningkatkan ketahanan sistem inferensi. 🔗 Kami membangun NVIDIA Dynamo secara terbuka dan menghargai kontribusi 👇 Anda Lihat repositori kami di GitHub dan bergabunglah dengan komunitas ➡️ NVIDIA Dynamo
1,16K