Étant donné l'importance massive - et croissante - du calcul au moment du test et du RL post-formation démontrée par la domination absolue de Grok-4, être le producteur à faible coût de tokens est plus important que jamais. En passant, c'est la première fois de ma carrière en tant qu'investisseur technologique que le fait d'être le producteur à faible coût de quoi que ce soit a compté. Aujourd'hui, les producteurs de tokens à moindre coût sont Google (TPUs) et xAI (plus grand cluster cohérent, le plus bas capex $ par GPU déployé, presque certainement le plus haut MFU et ont pris des décisions architecturales vraiment intelligentes). Je suis évidemment biaisé en ce qui concerne xAI. D'un point de vue purement technique, avoir le meilleur réseau de mise à l'échelle et le déchargement de cache KV le plus efficace sont les plus importants tant pour le coût que pour la latence des modèles et des fenêtres de contexte de plus en plus grands. Ce sont les axes de compétition les plus importants dans l'infrastructure IA aujourd'hui - pas le calcul. Notez que la bande passante de la mémoire sur puce est la plus importante lorsque vous pouvez faire tenir le modèle sur une seule puce (@cerebras) mais pour tout modèle vraiment grand qui nécessite plusieurs paquets, la mise à l'échelle et le déchargement de cache KV sont les plus importants. Comme tout le monde travaillant sur des ASIC commence lentement à le comprendre. C'est pourquoi Dynamo et l'open-sourcing de NVLink étaient tous deux importants et intelligents. Ce dernier pourrait de plus en plus conduire à un partage d'ASIC migré vers des partenaires NVLink. Sans parler des avantages naturels de négociation d'avoir un deuxième fournisseur. Il est probable que nous en verrons davantage, à mon humble avis :