Als onderdeel van ons recente werk aan geheugenlaagarchitecturen heb ik enkele van mijn gedachten over het probleem van continu leren in het algemeen opgeschreven: Blogpost: Een deel van de uiteenzetting gaat verder dan geheugenlagen, dus ik dacht dat het nuttig zou zijn om dit apart te benadrukken:

🧠 Hoe kunnen we LLM's uitrusten met geheugen dat hen in staat stelt om voortdurend nieuwe dingen te leren? In ons nieuwe paper met @AIatMeta laten we zien hoe het spaarzaam finetunen van geheugenniveaus gerichte updates voor continue leren mogelijk maakt, met minimale interferentie met bestaande kennis. Terwijl volledig finetunen en LoRA drastische dalingen in de prestaties op achtergehouden taken zien (📉-89% FT, -71% LoRA op feitelijke leertaken), leren geheugenniveaus dezelfde hoeveelheid met veel minder vergeten (-11%). 🧵: