NAJWIĘKSZYM WĄSKIM GARDŁEM AI JEST RUCH DANYCH Mówiłem o tym przez cały rok: $ALAB będzie jednym z największych zwycięzców w zakresie wnioskowania AI -- podatku od obciążeń AI. Rzeczywistość jest prosta: dane nie poruszają się wystarczająco szybko między obliczeniami, pamięcią a przechowywaniem, aby nadążyć za wnioskowaniem w czasie rzeczywistym. A ta luka tylko się powiększa, gdy modele stają się coraz bardziej interaktywne, zdecentralizowane i dynamiczne. Każdy główny gracz w dziedzinie sprzętu AI dostosowuje się: • $NVDA Grace Hopper -- zbudowany wokół spójności pamięci • $AMD MI300 -- zoptymalizowany pod kątem połączeń o wysokiej przepustowości • $MSFT centra danych AI -- zaprojektowane z niestandardowymi topologiami sieciowymi Wszyscy zmierzają w stronę tego samego wyzwania: obliczenia to teraz problem łączności -- Astera Labs to mój ulubiony sposób na zagranie na tym wąskim gardle.