Gezien het enorme - en toenemende - belang van rekentijd en post-training RL, zoals aangetoond door de absolute dominantie van Grok-4, is het belangrijker dan ooit om de laagste kostenproducent van tokens te zijn. Terzijde, dit is de eerste keer in mijn carrière als tech-investeerder dat het belangrijk is om de laagste kostenproducent van iets te zijn. Vandaag zijn de laagste kostenproducenten van tokens Google (TPU's) en xAI (grootste coherente cluster, laagste capex $ per geïmplementeerde GPU, vrijwel zeker hoogste MFU en hebben enkele echt slimme architectonische beslissingen genomen). Ik ben uiteraard bevooroordeeld als het om xAI gaat. Vanuit een puur technisch perspectief zijn het hebben van het beste schaalbare netwerk en de meest efficiënte KV-cache-afvoer het belangrijkst voor zowel kosten als latentie voor de steeds grotere modellen en contextvensters. Dit zijn de belangrijkste concurrentie-assen in AI-infrastructuur vandaag - niet de rekencapaciteit. Merk op dat de bandbreedte van on-package geheugen het belangrijkst is wanneer je het model op een enkele chip kunt passen (@cerebras), maar voor elk echt groot model dat meerdere pakketten vereist, zijn schaalvergroting en kv-cache-afvoer het belangrijkst. Zoals iedereen die aan ASIC's werkt langzaam begint te begrijpen. Dit is waarom Dynamo en het open-source maken van NVLink beide belangrijk en slim waren. Laatstgenoemde zou steeds meer kunnen leiden tot een migratie van ASIC-aandeel naar NVLink-partners. Om nog maar te zwijgen van de natuurlijke onderhandelingsvoordelen van het hebben van een tweede leverancier. Waarschijnlijk meer van deze IMHO: