Vzhledem k obrovskému - a rostoucímu - významu výpočtů v době testu a post-tréninkového RL, který ukazuje absolutní dominance Grok-4, je být nízkonákladovým výrobcem tokenů důležitější než kdy jindy. Mimochodem, je to poprvé v mé kariéře technologického investora, kdy záleží na tom, abych byl nízkonákladovým producentem čehokoli. Dnes jsou výrobci tokenů s nejnižšími náklady Google (TPU) a xAI (největší koherentní cluster, nejnižší kapitálové náklady na nasazený GPU, téměř jistě nejvyšší MFU a učinili několik opravdu chytrých architektonických rozhodnutí). Jsem samozřejmě zaujatý, pokud jde o xAI. Z čistě technického hlediska je nejlepší škálovatelná síť a nejefektivnější snižování zátěže mezipaměti KV nejdůležitější pro náklady i latenci pro stále větší modely a kontextová okna. To jsou dnes nejdůležitější osy konkurence v infrastruktuře umělé inteligence – nikoli výpočetní technika. Všimněte si, že šířka pásma paměti na balíčku je nejdůležitější, když se model vejde na jeden čip (@cerebras), ale pro jakýkoli opravdu velký model, který vyžaduje více balíčků, je nejdůležitější škálování a snižování zátěže kv cache. Jak každý, kdo pracuje na ASIC, pomalu začíná chápat. Proto byly aplikace Dynamo a open-sourcing NVLink důležité a chytré. To by mohlo stále více vést k migraci akcií ASIC k partnerům NVLink. Nemluvě o přirozených výhodách vyjednávání s druhým dodavatelem. Pravděpodobně uvidím více těchto IMHO: