Hvorfor GPT 5 føles som et lineært fremskritt: I AI krever det eksponentielle gevinster i data- og treningsdata for å produsere lineære gevinster. Databehandling som kastes på trening har økt uholdbart (doblet med 3x Moore's Law-tempo). Tekstdata for pre-training er nesten utmattet. GPT5 er en klar forbedring. Og det bør ikke overraske noen at forbedringene føles lineære - for det er de i stor grad. Det vil komme nye paradigmer som gir trinnfunksjoner og bøyer kurven (slik resonnementet gjorde). Men det nåværende paradigmet viser avtagende avkastning. AI er fantastisk, for å være tydelig. Det er en utrolig gave. Det er allerede i ferd med å forandre vår verden. Men rask start, eksponentiell fremgang, rekursiv-selvforbedringsfortellinger støter på den avtagende avkastningen / eksponentielle vanskeligheter med å flytte opp disse skaleringslovene.
1,7K