.@karpathy diz que os LLMs atualmente carecem da acumulação cultural e do auto-jogo que impulsionaram os humanos para fora da savana: Cultura: > “Por que um LLM não pode escrever um livro para os outros LLMs? Por que outros LLMs não podem ler o livro deste LLM e se inspirar nele, ou ficar chocados com ele?” Auto-jogo: > “É extremamente poderoso. A evolução tem muita competição que impulsiona a inteligência e a evolução. O AlphaGo está jogando contra si mesmo e é assim que aprende a ficar realmente bom em Go. Não há equivalente ao auto-jogo nos LLMs. Por que um LLM, por exemplo, não pode criar um monte de problemas que outro LLM está aprendendo a resolver? Assim, o LLM está sempre tentando resolver problemas cada vez mais difíceis.” Perguntei a Karpathy por que os LLMs ainda não conseguem construir cultura da maneira que os humanos fazem. > “Os modelos mais simples se assemelham notavelmente a um estudante de jardim de infância. [Os modelos mais inteligentes ainda se sentem como] estudantes do ensino fundamental, no entanto. De alguma forma, ainda não nos formamos o suficiente para que [esses modelos] possam assumir. Meu Claude Code ou Codex, eles ainda se sentem como esse estudante de nível elementar. Eu sei que eles podem fazer testes de doutorado, mas ainda se sentem cognitivamente como um jardim de infância.” > “Não acho que eles possam criar cultura porque ainda são crianças. Eles são crianças prodígio. Têm memória perfeita. Podem criar de forma convincente todo tipo de lixo que parece realmente bom. Mas ainda acho que eles não sabem realmente o que estão fazendo. Eles não têm realmente a cognição em todos esses pequenos itens que ainda precisamos coletar.