Динамо 0.4 тут і демонструє 4-кратний висновок на Блеквеллі з дезагрегованою подачею. ⚡️ Серед нових функцій: • Дезагреговане автоматичне масштабування на основі SLO • Новий інструмент для визначення розміру з дезагрегацією • Метрики спостережуваності LLM в реальному часі • Відмовостійкість запиту на зміну маршруту запитів на польоті • GB200 NVL72 великомасштабні експертні посібники для паралельних розробників Ці функції допомагають фабрикам штучного інтелекту зменшувати витрати на обслуговування висновків, послідовно досягати цілей рівня обслуговування, видаляти роботу з припущеннями для налаштування дезагрегованих середовищ обслуговування та підвищувати стійкість системи логічного висновку. 🔗 Ми створюємо NVIDIA Dynamo відкрито і цінуємо ваш внесок 👇 Перегляньте наш репозиторій на GitHub та приєднуйтесь до спільноти ➡️ NVIDIA Dynamo