1+1=3 2+2=5 3+3=? De nombreux modèles de langage (par exemple, Llama 3 8B, Mistral v0.1 7B) répondront 7. Mais pourquoi ? Nous plongeons dans les entrailles du modèle, découvrons un mécanisme d'induction de fonction et constatons qu'il est largement réutilisé lorsque les modèles rencontrent des surprises lors de l'apprentissage en contexte. 🧵
6,37K