نظرا للأهمية الهائلة والمتزايدة لحوسبة وقت الاختبار وما بعد التدريب RL التي أظهرتها الهيمنة المطلقة ل Grok-4 ، فإن كونك منتجا منخفض التكلفة للرموز أصبح أكثر أهمية من أي وقت مضى. جانبا ، هذه هي المرة الأولى في مسيرتي المهنية كمستثمر تقني أن كوني المنتج منخفض التكلفة لأي شيء مهم. اليوم ، منتجو الرموز الأقل تكلفة هم Google (TPUs) و xAI (أكبر مجموعة متماسكة ، وأقل نفقات رأسمالية لكل وحدة معالجة رسومات منتشرة ، ومن شبه المؤكد أن أعلى MFU وقد اتخذوا بعض القرارات المعمارية الذكية حقا). من الواضح أنني متحيز عندما يتعلق الأمر ب xAI. من منظور تقني فقط ، يعد امتلاك أفضل شبكات قابلة للتوسع وتفريغ ذاكرة التخزين المؤقت KV الأكثر كفاءة أمرا أكثر أهمية لكل من التكلفة وزمن الوصول للنماذج ونوافذ السياق الكبيرة بشكل متزايد. هذه هي أهم محاور المنافسة في البنية التحتية لنظام الذكاء الاصطناعي اليوم - وليس الحوسبة. لاحظ أن عرض النطاق الترددي للذاكرة على العبوة يكون أكثر أهمية عندما يمكنك ملاءمة النموذج على شريحة واحدة (@cerebras) ولكن بالنسبة لأي طراز كبير حقا يتطلب حزما متعددة ، فإن التوسع وتفريغ ذاكرة التخزين المؤقت kv هما الأكثر أهمية. كما بدأ كل من يعمل على ASICs ببطء في الفهم. هذا هو السبب في أن Dynamo و NVLink مفتوح المصدر كانا مهمين وذكيين. يمكن أن يؤدي هذا الأخير بشكل متزايد إلى انتقال سهم ASIC إلى شركاء NVLink. ناهيك عن الفوائد التفاوضية الطبيعية لوجود مورد ثان. من المحتمل أن نرى المزيد من هذه IMHO: