Former des modèles massifs de Mixture-of-Experts (MoE) comme DeepSeek-V3 et Llama 4-Scout de manière efficace est l'un des défis de l'IA moderne. Ces modèles poussent les GPU, les réseaux et les compilateurs à leurs limites. Pour y faire face, les équipes PyTorch d'AMD et de Meta ont uni leurs forces pour ajuster TorchTitan et Primus-Turbo, la bibliothèque de noyau open source d'AMD, pour les nouveaux GPU Instinct MI325X. Ensemble, ils ont atteint un dimensionnement presque idéal sur 1 024 GPU, montrant que l'efficacité et l'échelle ne doivent pas être un compromis. 📎 Lisez notre dernier blog : #PyTorchFoundation #OpenSourceAI #TorchTitan #MoE