Med tanke på den enorma - och ökande - betydelsen av beräkning vid testtid och RL efter träning som visas av Grok-4:s absoluta dominans, är det viktigare än någonsin att vara den billiga producenten av tokens. Som en parentes kan nämnas att det här är första gången i min karriär som teknikinvesterare som det har spelat roll att vara lågkostnadsproducent av någonting. Idag är de lägsta kostnadsproducenterna av tokens Google (TPU:er) och xAI (största sammanhängande kluster, lägsta capex $ per distribuerad GPU, nästan säkert högsta MFU och har gjort några riktigt smarta arkitektoniska beslut). Jag är uppenbarligen partisk när det gäller xAI. Ur ett rent tekniskt perspektiv är det viktigast att ha det bästa uppskalningsnätverket och den mest effektiva avlastningen av KV-cache för både kostnad och svarstid för de allt större modellerna och kontextfönstren. Dessa är de viktigaste konkurrensaxlarna inom AI-infrastruktur idag – inte databehandling. Observera att minnesbandbredden på paketet är viktigast när du kan få plats med modellen på ett enda chip (@cerebras), men för alla riktigt stora modeller som kräver flera paket är uppskalning och avlastning av kv-cache viktigast. Som alla som arbetar med ASIC:er långsamt börjar förstå. Därför var Dynamo och NVLink med öppen källkod både viktiga och smarta. Det senare kan i allt högre grad leda till att ASIC-aktier migrerar till NVLink-partners. För att inte tala om de naturliga förhandlingsfördelarna med att ha en andra leverantör. Sannolikt att se mer av dessa IMHO: