🧠 كيف يمكننا تزويد LLMs بالذاكرة التي تسمح لهم بتعلم أشياء جديدة باستمرار؟ في ورقتنا الجديدة مع @AIatMeta ، نوضح كيف يتيح الضبط الدقيق لطبقات الذاكرة بشكل ضئيل تحديثات مستهدفة للتعلم المستمر ، مع الحد الأدنى من التداخل مع المعرفة الحالية. بينما يشهد الضبط الدقيق الكامل و LoRA انخفاضا حادا في أداء المهام المعلقة (📉-89٪ FT, -71٪ LoRA في مهام تعلم الحقائق), تتعلم طبقات الذاكرة نفس المقدار مع نسيان أقل بكثير (-11٪). 🧵: