Google vient de donner aux modèles de langage une véritable mémoire à long terme. Une nouvelle architecture apprend pendant l'inférence et conserve le contexte à travers des millions de tokens. Elle maintient une précision d'environ 70 % à 10 millions de tokens. 𝗖𝗲𝘁𝘁𝗲 𝗮𝗿𝗰𝗵𝗶𝘁𝗲𝗰𝘁𝘂𝗿𝗲 𝗮𝗽𝗽𝗿𝗲𝗻𝗱 𝗽𝗲𝗻𝗱𝗮𝗻𝘁 𝗾𝘂'𝗲𝗹𝗹𝗲 𝗿𝗲𝗴𝗮𝗿𝗱𝗲 Titans ajoute une mémoire neuronale à long terme qui se met à jour pendant la génération. Pas de poids. Pas de réentraînement. Apprentissage en direct. • Un petit réseau neuronal stocke le contexte à long terme • Il se met à jour uniquement lorsque quelque chose d'inattendu apparaît • Les tokens routiniers sont ignorés pour rester rapides Cela permet au modèle de se souvenir de faits provenant de textes beaucoup plus anciens sans avoir à tout scanner à nouveau. 𝗘𝗹𝗹𝗲 𝗺𝗮𝗻𝘁𝗶𝗲𝗻𝘁 𝗹𝗮 𝘀𝗽𝗲𝗲𝗱 𝗲𝗻 𝗮𝗻𝗮𝗹𝘆𝘀𝗮𝗻𝘁 𝗹𝗲 𝗰𝗼𝗻𝘁𝗲𝘅𝘁𝗲 L'attention reste locale. La mémoire gère le passé. • Coût d'inférence linéaire • Pas d'explosions d'attention quadratiques • Précision stable au-delà de deux millions de tokens 𝗘𝗹𝗹𝗲 𝗽𝗲𝗿𝗺𝗲𝘁 𝗱𝗲 𝗰𝗿𝗲́𝗲𝗿 𝗱𝗲 𝗻𝗼𝘂𝘃𝗲𝗮𝘂𝘅 𝘁𝗲𝗿𝗺𝗲𝘀 𝗱𝗲 𝗮𝗽𝗽𝘀 Vous pouvez traiter des livres entiers, des journaux ou des génomes en un seul passage. Vous pouvez conserver l'état à travers de longues sessions. Vous pouvez arrêter de segmenter le contexte juste pour survivre aux limites.