RETRO (DeepMind, 2021) là một ý tưởng tuyệt vời, rất cần được xem xét lại. Đổi mới trung tâm của retro là có một mô hình nhỏ quyết định token nào sẽ được dự đoán tiếp theo, nhưng chuyển giao toàn bộ kiến thức cho một kho dữ liệu lớn ngoại tuyến. Điều này có lợi ích bổ sung là cho phép bạn chèn và xóa các sự thật theo cách mô-đun bằng cách sửa đổi kho dữ liệu, mà không cần phải huấn luyện lại mô hình. Phù hợp với lý tưởng của một mô hình nhỏ (cốt lõi nhận thức của karpathy yada yada) rất tốt. Bạn cũng có thể thêm nhiều công cụ hơn, chỉ cần bắt đầu với một kho dữ liệu ngôn ngữ mà là công cụ Quan Trọng Nhất. RETRO xứng đáng nhận được nhiều sự công nhận hơn. Đặc biệt là bây giờ khi các mô hình nhỏ đã trở nên tốt hơn rất nhiều.