Pourquoi GPT 5 semble être une avancée linéaire : Dans l'IA, il faut des gains exponentiels en calcul et en données d'entraînement pour produire des gains linéaires. Le calcul investi dans l'entraînement a augmenté de manière insoutenable (doublant à un rythme 3x de la loi de Moore). Les données textuelles pour le pré-entraînement sont presque épuisées. GPT5 est une amélioration claire. Et il ne devrait surprendre personne que les améliorations semblent linéaires - car elles le sont en grande partie. Il y aura de nouveaux paradigmes qui fourniront des fonctions de saut et plieront la courbe (comme le raisonnement l'a fait). Mais le paradigme actuel montre des rendements décroissants. L'IA est incroyable, pour être clair. C'est un cadeau incroyable. Elle transforme déjà notre monde. Mais les récits de décollage rapide, de progrès exponentiel et d'amélioration récursive se heurtent aux rendements décroissants / à la difficulté exponentielle de progresser dans ces lois d'échelle.
1,72K