Dynamo 0.4 đã có mặt và mang lại hiệu suất suy diễn gấp 4 lần trên Blackwell với dịch vụ phân tán. ⚡️ Các tính năng mới bao gồm: • Tự động mở rộng phân tán dựa trên SLO • Công cụ định cỡ phân tán mới • Các chỉ số quan sát cụ thể cho LLM theo thời gian thực • Chịu lỗi với việc định tuyến lại yêu cầu đang xử lý • Hướng dẫn phát triển song song quy mô lớn GB200 NVL72 Các tính năng này giúp các Nhà máy AI giảm chi phí phục vụ suy diễn, liên tục đáp ứng các mục tiêu cấp dịch vụ, loại bỏ sự đoán mò trong việc thiết lập môi trường phục vụ phân tán, và nâng cao khả năng phục hồi của hệ thống suy diễn. 🔗 Chúng tôi đang xây dựng NVIDIA Dynamo một cách công khai và đánh giá cao sự đóng góp của bạn 👇 Hãy xem repo của chúng tôi trên GitHub và tham gia cộng đồng NVIDIA Dynamo ➡️