Ett paradoxalt förhållande inom tekniken, relaterat till Jevons paradox men något snett: AI-chip finns tillgängliga idag Men du skulle kunna implementera mer effektiva chip om tre år Vad är brådskan? En teknik mitt i en snabb kostnadsnedgång delar nästan nödvändigtvis marknaden mellan dem som tror att tillgång till sämre teknik idag ger dem en mycket bättre position i framtiden och de som anser det bäst att driva en eller två noder efter. Kostnaden för att generera tokens håller på att kollapsa. Och ändå betalar AI-modellleverantörer dyrt – liksom deras användare – för att generera tokens idag som kommer att se sorgligt ineffektiva ut imorgon. Antingen är de aggressiva användarna vilseledda, eller så måste tidskostnaden för att inte generera tokens överstiga även den branta prestandakurva som tokengenereringen följer. På hårdvarubasis – bortsett från arkitektoniska förbättringar – halveras kostnaden för att generera tokens ungefär årligen. Detta måste innebära att den upplevda avkastningen på tokengenerering är minst 100 % årlig. En gigawatt beräkning idag är lika värdefullt som 2 GW nästa år. Detta leder nästan oundvikligen till rymdberäkning. Känslig för olika indata verkar det som att rymdbaserad AI-beräkning blir kostnadseffektiv jämfört med markbaserad AI-beräkning per token till ungefär 400 dollar per kilo i uppskjutningskostnader. Även om det ännu inte är där, bör Starship i rimliga volymer – vad vi förväntade oss att SpaceX skulle leverera till 2030 innan rymdberäkningsmöjligheterna uppstod – passera den kostnadströskeln. Viktigare än kostnaden är dock tid. AI-företag är nu utfattiga på floppar. Branschövergripande förväntar vi oss att markbundna datacenter installerar 90 GW år 2030, efter att ha byggt upp 250 GW sammanlagt mellan nu och då. Detta är möjligt men aggressivt med tanke på svårigheten att bygga riktig infrastruktur på verkliga platser befolkade av riktiga människor (som kanske kastar sig framför en bulldozer för att de läste den där boken som överdrivet överdrev vattenanvändningen i datacenter till tusenfaldigt nivå). ...