🧠 Bagaimana kita bisa melengkapi LLM dengan memori yang memungkinkan mereka untuk terus mempelajari hal-hal baru? Dalam makalah baru kami dengan @AIatMeta, kami menunjukkan bagaimana penyempurnaan lapisan memori yang jarang memungkinkan pembaruan yang ditargetkan untuk pembelajaran berkelanjutan, dengan gangguan minimal dengan pengetahuan yang ada. Sementara penyempurnaan penuh dan LoRA mengalami penurunan drastis dalam kinerja tugas yang ditahan (📉-89% FT, -71% LoRA pada tugas pembelajaran fakta), lapisan memori mempelajari jumlah yang sama dengan jauh lebih sedikit lupa (-11%). 🧵: