Como parte de nuestro trabajo reciente sobre arquitecturas de capas de memoria, escribí algunas de mis reflexiones sobre el problema del aprendizaje continuo en términos generales: Publicación del blog: Parte de la exposición va más allá de las capas de memoria, así que pensé que sería útil resaltar esto por separado:

🧠 ¿Cómo podemos dotar a los LLMs de memoria que les permita aprender continuamente cosas nuevas? En nuestro nuevo artículo con @AIatMeta, mostramos cómo el ajuste fino esporádico de las capas de memoria permite actualizaciones específicas para el aprendizaje continuo, con una interferencia mínima con el conocimiento existente. Mientras que el ajuste fino completo y LoRA ven caídas drásticas en el rendimiento de tareas retenidas (📉-89% FT, -71% LoRA en tareas de aprendizaje de hechos), las capas de memoria aprenden la misma cantidad con mucho menos olvido (-11%). 🧵: