RETRO (DeepMind, 2021) é uma ideia bonita, que precisa urgentemente de ser revisitada. a inovação central do retro é ter um pequeno modelo que decide qual token prever a seguir, mas delega todo o conhecimento a um grande armazenamento de dados offline. isso tem o benefício adicional de permitir que você insira e remova fatos de uma maneira modular, modificando o armazenamento de dados, sem precisar re-treinar o modelo. encaixa muito bem no ideal de um modelo pequeno (o núcleo cognitivo do karpathy yada yada). você também poderia adicionar mais ferramentas, começando com um armazenamento de dados de linguagem que é a ferramenta Mais Importante. RETRO merece muito mais reconhecimento. especialmente agora que os modelos pequenos melhoraram tanto.