Như một phần trong công việc gần đây của chúng tôi về kiến trúc lớp bộ nhớ, tôi đã viết ra một số suy nghĩ của mình về vấn đề học liên tục một cách tổng quát: Bài viết trên blog: Một số phần trình bày vượt ra ngoài các lớp bộ nhớ, vì vậy tôi nghĩ sẽ hữu ích nếu làm nổi bật riêng biệt:

🧠 Làm thế nào chúng ta có thể trang bị cho LLM khả năng ghi nhớ cho phép chúng liên tục học hỏi những điều mới? Trong bài báo mới của chúng tôi với @AIatMeta, chúng tôi cho thấy cách tinh chỉnh thưa thớt các lớp bộ nhớ cho phép cập nhật có mục tiêu cho việc học liên tục, với sự can thiệp tối thiểu vào kiến thức hiện có. Trong khi việc tinh chỉnh toàn bộ và LoRA thấy sự sụt giảm mạnh trong hiệu suất nhiệm vụ giữ lại (📉-89% FT, -71% LoRA trong các nhiệm vụ học tập thực tế), các lớp bộ nhớ học cùng một lượng với việc quên ít hơn nhiều (-11%). 🧵: