Biorąc pod uwagę ogromne - i rosnące - znaczenie obliczeń w czasie testów oraz RL po treningu, które pokazuje absolutna dominacja Grok-4, bycie niskokosztowym producentem tokenów jest ważniejsze niż kiedykolwiek. Na marginesie, to pierwszy raz w mojej karierze jako inwestora technologicznego, kiedy bycie niskokosztowym producentem czegokolwiek miało znaczenie. Dziś najniższymi kosztami producentów tokenów są Google (TPU) i xAI (największy spójny klaster, najniższy capex $ na wdrożony GPU, prawie na pewno najwyższy MFU i podjęli naprawdę mądre decyzje architektoniczne). Oczywiście jestem stronniczy, jeśli chodzi o xAI. Z czysto technicznego punktu widzenia, posiadanie najlepszego skalowalnego sieciowania i najbardziej efektywnego odciążania pamięci KV jest najważniejsze zarówno dla kosztów, jak i opóźnień w przypadku coraz większych modeli i okien kontekstowych. To są najważniejsze osie konkurencji w infrastrukturze AI dzisiaj - nie obliczenia. Zauważ, że przepustowość pamięci na pakiecie jest najważniejsza, gdy można zmieścić model na jednym chipie (@cerebras), ale dla każdego naprawdę dużego modelu, który wymaga wielu pakietów, skalowanie i odciążanie pamięci KV są najważniejsze. Jak wszyscy pracujący nad ASIC-ami powoli zaczynają rozumieć. Dlatego Dynamo i otwarcie NVLink były zarówno ważne, jak i mądre. To drugie może prowadzić do migracji udziału ASIC do partnerów NVLink. Nie wspominając o naturalnych korzyściach negocjacyjnych wynikających z posiadania drugiego dostawcy. Prawdopodobnie zobaczymy więcej takich sytuacji, moim zdaniem: