De ce GPT 5 pare un progres liniar: În AI, este nevoie de câștiguri exponențiale în calcul și antrenament pentru a produce câștiguri liniare. Calculul aruncat la antrenament a crescut nesustenabil (dublându-se la 3 ori ritmul Legii lui Moore). Datele text pentru pre-antrenament sunt aproape epuizate. GPT5 este o îmbunătățire clară. Și nu ar trebui să surprindă pe nimeni că îmbunătățirile se simt liniare - pentru că în mare parte sunt. Vor exista noi paradigme care oferă funcții de pas și îndobesc curba (așa cum a făcut raționamentul). Dar paradigma actuală arată randamente descrescătoare. AI este minunată, ca să fiu clar. Este un cadou incredibil. Deja ne transformă lumea. Dar decolarea rapidă, progresul exponențial, narațiunile recursive de auto-îmbunătățire se lovesc de randamentele în scădere / dificultatea exponențială de a crește acele legi de scalare.
1,71K