З огляду на величезну - і зростаючу - важливість обчислень під час тестування і RL після тренування, що демонструється абсолютним домінуванням Grok-4, бути недорогим виробником токенів важливо, як ніколи. До речі, це перший випадок у моїй кар'єрі як технологічного інвестора, коли бути недорогим виробником будь-чого має значення. На сьогоднішній день найнижчими витратами виробниками токенов є Google (TPUs) і xAI (найбільший когерентний кластер, найнижчий капітальний капітал $ на розгорнутий GPU, майже напевно найвищий MFU і прийняли кілька дійсно розумних архітектурних рішень). Я явно упереджений, коли справа доходить до xAI. З суто технічної точки зору, наявність найкращої масштабованої мережі та найефективнішого розвантаження кешу KV є найбільш важливими як для вартості, так і для затримки для все більш великих моделей та контекстних вікон. Це найважливіші осі конкуренції в інфраструктурі штучного інтелекту на сьогоднішній день, а не обчислень. Зауважте, що пропускна здатність вбудованої пам'яті найбільш важлива, коли ви можете помістити модель на один чіп (@cerebras), але для будь-якої дійсно великої моделі, яка вимагає кількох пакетів, масштабування та розвантаження кешу kv є найбільш важливими. Як всі, хто працює на асіках, потроху починають розуміти. Ось чому «Динамо» і NVLink з відкритим сорсингом були важливими і розумними. Останнє може все частіше призводити до міграції частки ASIC до партнерів NVLink. Не кажучи вже про природні переговорні вигоди від наявності другого постачальника. Швидше за все, побачу ще таких ІМХО: