🧠 Cum putem echipa LLM-urile cu memorie care să le permită să învețe continuu lucruri noi? În noua noastră lucrare cu @AIatMeta, arătăm cum reglarea slab fină a straturilor de memorie permite actualizări țintite pentru învățarea continuă, cu interferențe minime cu cunoștințele existente. În timp ce reglarea fină completă și LoRA înregistrează scăderi drastice ale performanței sarcinilor suspendate (📉-89% FT, -71% LoRA la sarcinile de învățare a faptelor), straturile de memorie învață aceeași cantitate cu mult mai puțină uitare (-11%). 🧵: