تدريب نماذج ضخمة من نوع Mix-of-Expert (MoE) مثل DeepSeek-V3 وLlama 4-Scout بكفاءة هو أحد التحديات في الذكاء الاصطناعي الحديث. تدفع هذه النماذج وحدات معالجة الرسوميات والشبكات والمترجمات إلى أقصى حدودها. لمعالجة ذلك، تعاونت فرق AMD وPyTorch التابعة لميتا لضبط مكتبة النواة مفتوحة المصدر TorchTitan وPrimus-Turbo لوحدات معالجة الرسومات الجديدة Instinct MI325X. معا، وصلوا إلى تكبير شبه مثالي عبر 1,024 وحدة معالجة رسوميات، مما أظهر أن الكفاءة والحجم لا يجب أن يكونا مقايضة. 📎 اقرأ مدونتنا الأخيرة: #PyTorchFoundation #OpenSourceAI #TorchTitan #MoE