Jako součást naší nedávné práce na architekturách paměťových vrstev jsem sepsal některé ze svých myšlenek o problému neustálého učení obecně: Příspěvek na blogu: Některé z výkladů přesahují rámec mem vrstev, takže jsem si myslel, že by bylo užitečné zvýraznit samostatně:

🧠 Jak můžeme vybavit LLM pamětí, která jim umožní neustále se učit nové věci? V našem novém článku s @AIatMeta ukazujeme, jak řídké vyladění paměťových vrstev umožňuje cílené aktualizace pro kontinuální učení s minimálním zásahem do stávajících znalostí. Zatímco úplné doladění a LoRA zaznamenávají drastický pokles výkonu vydržených úloh (📉-89 % FT, -71 % LoRA u úloh učení faktů), paměťové vrstvy se učí stejné množství s mnohem menším zapomínáním (-11 %). 🧵: