Mengingat pentingnya komputasi waktu pengujian dan RL pasca-pelatihan yang sangat besar - dan meningkat yang ditunjukkan oleh dominasi absolut Grok-4, menjadi produsen token berbiaya rendah lebih penting dari sebelumnya. Selain itu, ini adalah pertama kalinya dalam karir saya sebagai investor teknologi bahwa menjadi produsen berbiaya rendah dari apa pun itu penting. Saat ini, produsen token berbiaya terendah adalah Google (TPU) dan xAI (cluster koheren terbesar, belanja modal terendah $ per GPU yang digunakan, MFU tertinggi hampir pasti dan telah membuat beberapa keputusan arsitektur yang sangat cerdas). Saya jelas bias dalam hal xAI. Dari perspektif teknis semata, memiliki jaringan peningkatan skala terbaik dan offload cache KV yang paling efisien adalah yang paling penting untuk biaya dan latensi untuk model dan jendela konteks yang semakin besar. Ini adalah sumbu persaingan terpenting dalam infrastruktur AI saat ini - bukan komputasi. Perhatikan bahwa bandwidth memori pada paket adalah yang paling penting ketika Anda dapat menyesuaikan model pada satu chip (@cerebras) tetapi untuk model yang benar-benar besar yang membutuhkan banyak paket, peningkatan skala dan pembongkaran cache kv adalah yang paling penting. Karena semua orang yang bekerja di ASIC perlahan-lahan mulai memahami. Inilah sebabnya mengapa Dynamo dan NVLink sumber terbuka penting dan cerdas. Yang terakhir dapat semakin menyebabkan saham ASIC bermigrasi ke mitra NVLink. Belum lagi manfaat negosiasi alami dari memiliki pemasok kedua. Kemungkinan akan melihat lebih banyak dari IMHO: