1+1=3 2+2=5 3+3=? Muitos modelos de linguagem (por exemplo, Llama 3 8B, Mistral v0.1 7B) responderão 7. Mas por quê? Analisamos os internos do modelo, descobrimos um mecanismo de indução de funções e encontramos que é amplamente reutilizado quando os modelos encontram surpresas durante o aprendizado em contexto. 🧵
6,38K