🧠 Como podemos equipar os LLMs com memória que lhes permita aprender continuamente coisas novas? No nosso novo artigo com @AIatMeta, mostramos como o ajuste fino esparso das camadas de memória permite atualizações direcionadas para o aprendizado contínuo, com mínima interferência no conhecimento existente. Enquanto o ajuste fino completo e o LoRA apresentam quedas drásticas no desempenho em tarefas retidas (📉-89% FT, -71% LoRA em tarefas de aprendizado de fatos), as camadas de memória aprendem a mesma quantidade com muito menos esquecimento (-11%). 🧵: