W ramach naszej ostatniej pracy nad architekturami warstw pamięci, spisałem kilka moich przemyśleń na temat problemu uczenia się ciągłego w szerokim zakresie: Post na blogu: Część wywodu wykracza poza warstwy pamięci, więc pomyślałem, że warto to podkreślić osobno:

🧠 Jak możemy wyposażyć LLM w pamięć, która pozwala im na ciągłe uczenie się nowych rzeczy? W naszym nowym artykule z @AIatMeta pokazujemy, jak rzadkie dostrajanie warstw pamięci umożliwia celowe aktualizacje dla ciągłego uczenia się, z minimalnym zakłóceniem istniejącej wiedzy. Podczas gdy pełne dostrajanie i LoRA doświadczają drastycznych spadków wydajności w zadaniach trzymanych w rezerwie (📉-89% FT, -71% LoRA w zadaniach związanych z nauką faktów), warstwy pamięci uczą się tej samej ilości z dużo mniejszym zapominaniem (-11%). 🧵: