Dynamo 0.4 здесь, и он обеспечивает 4-кратную производительность вывода на Blackwell с раздельным обслуживанием. ⚡️ Новые функции включают: • Автоматическое масштабирование на основе SLO с раздельным обслуживанием • Новый инструмент для раздельного определения размеров • Метрики наблюдаемости, специфичные для LLM, в реальном времени • Устойчивость к сбоям с перенаправлением запросов в процессе выполнения • Руководства для разработчиков по параллельной работе с экспертами GB200 NVL72 в крупном масштабе Эти функции помогают AI Factory снижать затраты на обслуживание вывода, последовательно достигать целей уровня обслуживания, устранять неопределенность при настройке раздельных сред обслуживания и повышать устойчивость системы вывода. 🔗 Мы создаем NVIDIA Dynamo в открытом доступе и ценим ваш вклад 👇 Посмотрите наш репозиторий на GitHub и присоединяйтесь к сообществу NVIDIA Dynamo ➡️