Paradoksalny związek w technologii, związany z paradoksem Jevonsa, ale nieco krzywy: Chipy AI są dostępne dzisiaj Ale moglibyście bardziej efektywnie wdrożyć bardziej wydajne chipy za 3 lata Czemu tak się spieszyć? Technologia w trakcie szybkiego spadku kosztów niemal koniecznie dzieli rynek między tych, którzy wierzą, że dostęp do gorszej technologii dzisiaj da im znacznie lepszą pozycję w przyszłości, a tych, którzy uważają, że najlepiej jest działać z jedną lub dwiema wersjami w tyle. Koszt generowania tokenów załamuje się. A jednak dostawcy modeli AI płacą drogo - podobnie jak ich użytkownicy - za generowanie tokenów dzisiaj, które jutro będą wyglądać na żałośnie nieefektywne. Albo agresywni użytkownicy są w błędzie, albo koszt czasowy niegenerowania tokenów musi przewyższać nawet stromy krzywą wydajności, którą podąża generowanie tokenów. Na podstawie sprzętu - pomijając poprawki architektoniczne - koszt generowania tokenów w przybliżeniu co roku się zmniejsza o połowę. To musi oznaczać, że postrzegany zwrot z generowania tokenów wynosi co najmniej 100% w skali roku. Gigawat mocy obliczeniowej dzisiaj jest tak samo cenny jak 2 GW w przyszłym roku. To prowadzi, niemal nieuchronnie, do obliczeń w przestrzeni. Wrażliwy na różne czynniki, wygląda na to, że obliczenia AI w przestrzeni stają się opłacalne w porównaniu do obliczeń AI na Ziemi na podstawie kosztów za token przy około 400 USD za kg kosztów startowych. Choć jeszcze tam nie jesteśmy, Starship przy rozsądnych wolumenach - czego oczekiwaliśmy od SpaceX do 2030 roku, zanim pojawiła się możliwość obliczeń w przestrzeni - powinien przekroczyć ten próg kosztowy. Jednak ważniejsze niż koszt jest czas. Firmy AI teraz cierpią na brak flops. W skali branżowej oczekujemy, że ziemskie centra danych zainstalują 90 GW w 2030 roku, budując łącznie 250 GW między teraz a wtedy. To możliwe, ale agresywne, biorąc pod uwagę trudności w budowaniu prawdziwej infrastruktury w prawdziwych miejscach zamieszkanych przez prawdziwych ludzi (którzy mogą rzucić się pod buldożer, ponieważ przeczytali tę książkę, która hiperbolicznie przeszacowała zużycie wody przez centra danych o 1000 razy). ...