Angesichts der massiven - und zunehmenden - Bedeutung von Testzeit-Computing und post-training RL, die durch die absolute Dominanz von Grok-4 gezeigt wird, ist es wichtiger denn je, der kostengünstigste Produzent von Token zu sein. Nebenbei bemerkt, ist dies das erste Mal in meiner Karriere als Tech-Investor, dass es von Bedeutung ist, der kostengünstigste Produzent von irgendetwas zu sein. Heute sind die kostengünstigsten Produzenten von Token Google (TPUs) und xAI (größter kohärenter Cluster, niedrigste Investitionskosten pro eingesetztem GPU, fast sicher höchste MFU und haben einige wirklich kluge architektonische Entscheidungen getroffen). Ich bin offensichtlich voreingenommen, wenn es um xAI geht. Aus rein technischer Sicht sind das beste Scale-Up-Netzwerk und das effizienteste KV-Cache-Offloading am wichtigsten für sowohl Kosten als auch Latenz bei den zunehmend großen Modellen und Kontextfenstern. Dies sind die wichtigsten Wettbewerbsachsen in der KI-Infrastruktur heute - nicht das Computing. Beachten Sie, dass die Bandbreite des On-Package-Speichers am wichtigsten ist, wenn Sie das Modell auf einem einzigen Chip unterbringen können (@cerebras), aber für jedes wirklich große Modell, das mehrere Pakete erfordert, sind Scale-Up und KV-Cache-Offloading am wichtigsten. So langsam beginnen alle, die an ASICs arbeiten, dies zu verstehen. Deshalb waren Dynamo und die Open-Sourcing von NVLink sowohl wichtig als auch klug. Letzteres könnte zunehmend dazu führen, dass der ASIC-Anteil zu NVLink-Partnern wandert. Ganz zu schweigen von den natürlichen Verhandlungsvorteilen, die ein zweiter Lieferant mit sich bringt. Wahrscheinlich werden wir mehr davon sehen, IMHO: