Având în vedere importanța masivă - și crescândă - a calculului în timpul testelor și a RL post-antrenament arătată de dominația absolută a lui Grok-4, a fi producătorul de jetoane cu costuri reduse este mai important ca niciodată. Ca o paranteză, aceasta este prima dată în cariera mea ca investitor în tehnologie când a contat să fiu producătorul low-cost al orice. Astăzi, cei mai ieftini producători de token-uri sunt Google (TPU) și xAI (cel mai mare cluster coerent, cel mai mic capex $ per GPU implementat, aproape sigur cel mai mare MFU și au luat câteva decizii arhitecturale cu adevărat inteligente). Sunt evident părtinitor când vine vorba de xAI. Dintr-o perspectivă exclusiv tehnică, a avea cea mai bună rețea de scalare și cea mai eficientă descărcare a cache-ului KV sunt cele mai importante atât pentru cost, cât și pentru latență pentru modelele și ferestrele de context din ce în ce mai mari. Acestea sunt cele mai importante axe ale concurenței în infrastructura AI de astăzi - nu calculul. Rețineți că lățimea de bandă a memoriei pe pachet este cea mai importantă atunci când puteți potrivi modelul pe un singur cip (@cerebras), dar pentru orice model foarte mare care necesită mai multe pachete, scalarea și descărcarea cache-ului kv sunt cele mai importante. După cum toți cei care lucrează la ASIC-uri încep încet să înțeleagă. Acesta este motivul pentru care Dynamo și open-source-ul NVLink au fost atât importante, cât și inteligente. Acesta din urmă ar putea duce din ce în ce mai mult la migrarea acțiunilor ASIC către partenerii NVLink. Ca să nu mai vorbim de beneficiile naturale de negociere ale unui al doilea furnizor. Probabil să văd mai multe dintre acestea IMHO: