Kun otetaan huomioon Grok-4:n absoluuttisen dominanssin osoittama testiaikaisen laskennan ja koulutuksen jälkeisen RL:n valtava - ja kasvava - merkitys, tokenien edullisena tuottajana oleminen on tärkeämpää kuin koskaan. Sivuhuomautuksena mainittakoon, että tämä on ensimmäinen kerta teknologiasijoittajan urallani, kun minkään edullisella tuottajalla on ollut merkitystä. Nykyään alhaisimmat tokenien tuottajat ovat Google (TPU:t) ja xAI (suurin koherentti klusteri, pienin capex $ käyttöön otettua GPU:ta kohti, lähes varmasti korkein MFU ja ovat tehneet todella älykkäitä arkkitehtonisia päätöksiä). Olen selvästi puolueellinen xAI:n suhteen. Pelkästään teknisestä näkökulmasta paras skaalautuva verkko ja tehokkain KV-välimuistin purkaminen ovat tärkeimpiä sekä kustannusten että latenssin kannalta yhä suuremmissa malleissa ja kontekstiikkunoissa. Nämä ovat tekoälyinfrastruktuurin tärkeimmät kilpailuakselit tällä hetkellä - ei laskenta. Huomaa, että pakkauksen sisäisen muistin kaistanleveys on tärkein, kun voit sovittaa mallin yhdelle sirulle (@cerebras), mutta kaikissa todella suurissa malleissa, jotka vaativat useita paketteja, skaalaus ja kv-välimuistin purkaminen ovat tärkeimpiä. Kuten kaikki ASIC:ien parissa työskentelevät alkavat hitaasti ymmärtää. Siksi Dynamo ja avoimen lähdekoodin NVLink olivat sekä tärkeitä että älykkäitä. Jälkimmäinen voi yhä enemmän johtaa siihen, että ASIC-osuus siirtyy NVLink-kumppaneille. Puhumattakaan toisen toimittajan luonnollisista neuvottelueduista. Todennäköisesti näemme lisää näitä IMHO: