Massiivisten Mixture-of-Experts (MoE) -mallien, kuten DeepSeek-V3:n ja Llama 4-Scoutin, tehokas kouluttaminen on yksi modernin tekoälyn haasteista. Nämä mallit haastavat GPU:t, verkot ja kääntäjät äärirajoilleen. Tämän ratkaisemiseksi AMD ja Metan PyTorch-tiimit yhdistivät voimansa virittääkseen TorchTitanin ja Primus-Turbon, AMD:n avoimen lähdekoodin ydinkirjaston, uusiin Instinct MI325X -näytönohjaimiin. Yhdessä ne saavuttivat lähes ihanteellisen skaalauksen 1 024 GPU:lla, mikä osoittaa, että tehokkuuden ja mittakaavan ei tarvitse olla kompromisseja. 📎 Lue uusin blogimme: #PyTorchFoundation #OpenSourceAI #TorchTitan #MoE