Por que o GPT 5 parece um avanço linear: Na IA, são necessários ganhos exponenciais em computação e dados de treinamento para produzir ganhos lineares. A computação aplicada ao treinamento tem aumentado de forma insustentável (dobrando a um ritmo 3x mais rápido que a Lei de Moore). Os dados de texto para pré-treinamento estão quase esgotados. O GPT5 é uma melhoria clara. E não deve surpreender ninguém que as melhorias pareçam lineares - porque, em grande parte, são. Haverá novos paradigmas que proporcionarão funções de passo e curvarão a curva (como a razão fez). Mas o paradigma atual mostra retornos decrescentes. A IA é incrível, para ser claro. É um presente incrível. Já está transformando nosso mundo. Mas narrativas de decolagem rápida, progresso exponencial e autoaperfeiçoamento recursivo esbarram nos retornos decrescentes / dificuldade exponencial de avançar nessas leis de escalonamento.
1,84K