🧠 LLM が継続的に新しいことを学べるように記憶を身につけるにはどうすればよいでしょうか? @AIatMeta との新しい論文では、メモリ層をまばらに微調整することで、既存の知識への干渉を最小限に抑えながら、継続的な学習のためのターゲットを絞った更新がどのように可能になるかを示しています。 完全な微調整とLoRAでは、保留されたタスクのパフォーマンスが大幅に低下しますが(📉-89%FT、事実学習タスクで-71%のLoRA)、メモリ層は忘れがはるかに少なく、同じ量を学習します(-11%)。 🧵: