🧠 Jak můžeme vybavit LLM pamětí, která jim umožní neustále se učit nové věci? V našem novém článku s @AIatMeta ukazujeme, jak řídké vyladění paměťových vrstev umožňuje cílené aktualizace pro kontinuální učení s minimálním zásahem do stávajících znalostí. Zatímco úplné doladění a LoRA zaznamenávají drastický pokles výkonu vydržených úloh (📉-89 % FT, -71 % LoRA u úloh učení faktů), paměťové vrstvy se učí stejné množství s mnohem menším zapomínáním (-11 %). 🧵: