Antrenarea eficientă a modelelor masive Mix-of-Experts (MoE) precum DeepSeek-V3 și Llama 4-Scout este una dintre provocările AI moderne. Aceste modele împing GPU-urile, rețelele și compilatoarele la limite. Pentru a rezolva această problemă, echipele PyTorch ale AMD și Meta și-au unit forțele pentru a ajusta TorchTitan și Primus-Turbo, biblioteca open source a nucleului AMD, pentru noile plăci video Instinct MI325X. Împreună, au atins o scalare aproape ideală pe 1.024 de plăci video, arătând că eficiența și scalarea nu trebuie să fie un compromis. 📎 Citește cel mai recent blog al nostru: #PyTorchFoundation #OpenSourceAI #TorchTitan #MoE