Myślałem, że to dość wzruszające. Samotność to dzisiaj taki problem.

Internet pomógł długiemu ogonowi. AI będzie przeciwieństwem przez następne 3-5 lat.

Lista najlepszych firm VC jest interesująca. Founders Fund #37 Benchmark #56 Greenoaks #114 First Round #174 Sutter Hill #176 z CAGR powyżej 60% w ciągu ostatnich 20 lat. Wygląda na to, że nie są świadomi istnienia Sequoia. Zgadza się.

Coraz bardziej przekonany, że prefill i decode staną się odrębnymi rynkami w ramach inferencji. Różne systemy będą używane dla każdego z nich; oczywiście będą musiały współpracować. Prawdopodobnie za 18 miesięcy.

Kapitalizacja rynkowa podzielona przez alokację CoWoS jest interesująca. Zazwyczaj potrzeba trzech generacji, aby ASIC zyskał prawdziwą popularność.

Ważne, aby pamiętać, że Grok-4, GPT5, Opus 4.1 były wszystkie trenowane na GPU Hopper. Cieszę się na zobaczenie pierwszych modeli trenowanych na Blackwell w ciągu najbliższych sześciu miesięcy.

Fajnie być w @theallinpod Cieszyłem się, że mogłem poznać Bena i Phila. Ile jeszcze takich odcinków, zanim dostanę butelkę tequili?

Zarząd jest problemem zarządzania w Intel, a nie dyrektorem generalnym.

Biorąc pod uwagę ogromne - i rosnące - znaczenie obliczeń w czasie testów oraz RL po treningu, które pokazuje absolutna dominacja Grok-4, bycie niskokosztowym producentem tokenów jest ważniejsze niż kiedykolwiek. Na marginesie, to pierwszy raz w mojej karierze jako inwestora technologicznego, kiedy bycie niskokosztowym producentem czegokolwiek miało znaczenie. Dziś najniższymi kosztami producentów tokenów są Google (TPU) i xAI (największy spójny klaster, najniższy capex $ na wdrożony GPU, prawie na pewno najwyższy MFU i podjęli naprawdę mądre decyzje architektoniczne). Oczywiście jestem stronniczy, jeśli chodzi o xAI. Z czysto technicznego punktu widzenia, posiadanie najlepszego skalowalnego sieciowania i najbardziej efektywnego odciążania pamięci KV jest najważniejsze zarówno dla kosztów, jak i opóźnień w przypadku coraz większych modeli i okien kontekstowych. To są najważniejsze osie konkurencji w infrastrukturze AI dzisiaj - nie obliczenia. Zauważ, że przepustowość pamięci na pakiecie jest najważniejsza, gdy można zmieścić model na jednym chipie (@cerebras), ale dla każdego naprawdę dużego modelu, który wymaga wielu pakietów, skalowanie i odciążanie pamięci KV są najważniejsze. Jak wszyscy pracujący nad ASIC-ami powoli zaczynają rozumieć. Dlatego Dynamo i otwarcie NVLink były zarówno ważne, jak i mądre. To drugie może prowadzić do migracji udziału ASIC do partnerów NVLink. Nie wspominając o naturalnych korzyściach negocjacyjnych wynikających z posiadania drugiego dostawcy. Prawdopodobnie zobaczymy więcej takich sytuacji, moim zdaniem:

Hipoteza średniego poziomu ufności: za 3 lata Trainium, TPU i Dojo będą jedynymi układami ASIC, które pozostaną na rynku.