🧠 ¿Cómo podemos dotar a los LLMs de memoria que les permita aprender continuamente cosas nuevas? En nuestro nuevo artículo con @AIatMeta, mostramos cómo el ajuste fino esporádico de las capas de memoria permite actualizaciones específicas para el aprendizaje continuo, con una interferencia mínima con el conocimiento existente. Mientras que el ajuste fino completo y LoRA ven caídas drásticas en el rendimiento de tareas retenidas (📉-89% FT, -71% LoRA en tareas de aprendizaje de hechos), las capas de memoria aprenden la misma cantidad con mucho menos olvido (-11%). 🧵: