🧠 ¿Cómo podemos equipar a los LLM con una memoria que les permita aprender continuamente cosas nuevas? En nuestro nuevo artículo con @AIatMeta, mostramos cómo el escaso ajuste de las capas de memoria permite actualizaciones específicas para el aprendizaje continuo, con una interferencia mínima con el conocimiento existente. Mientras que el ajuste completo y LoRA ven caídas drásticas en el rendimiento de las tareas retenidas (📉-89% FT, -71% LoRA en tareas de aprendizaje de hechos), las capas de memoria aprenden la misma cantidad con mucho menos olvido (-11%). 🧵: