🧠 Как мы можем оснастить LLM памятью, которая позволяет им постоянно учиться новому? В нашей новой статье с @AIatMeta мы показываем, как разреженная дообучение слоев памяти позволяет целенаправленные обновления для непрерывного обучения с минимальным вмешательством в существующие знания. В то время как полное дообучение и LoRA показывают резкое снижение производительности на удерживаемых задачах (📉-89% FT, -71% LoRA на задачах обучения фактам), слои памяти учатся на том же уровне с гораздо меньшими потерями (-11%). 🧵: