Google vừa cung cấp cho các mô hình ngôn ngữ bộ nhớ dài hạn thực sự. Một kiến trúc mới học trong quá trình suy diễn và giữ ngữ cảnh qua hàng triệu token. Nó đạt khoảng 70% độ chính xác ở 10 triệu token. 𝗧𝗵𝗶𝘀 𝗮𝗿𝗰𝗵𝗶𝘁𝗲𝗰𝘁𝘂𝗿𝗲 𝗹𝗲𝗮𝗿𝗻𝘀 𝘄𝗵𝗶𝗹𝗲 𝗶𝘁 𝗿𝘂𝗻𝘀 Titans thêm một bộ nhớ dài hạn thần kinh cập nhật trong quá trình sinh ra. Không phải trọng số. Không phải huấn luyện lại. Học trực tiếp. • Một mạng nơ-ron nhỏ lưu trữ ngữ cảnh dài hạn • Nó chỉ cập nhật khi có điều gì đó bất ngờ xuất hiện • Các token thông thường bị bỏ qua để giữ tốc độ nhanh Điều này cho phép mô hình nhớ các sự kiện từ văn bản trước đó mà không cần quét lại mọi thứ. 𝗜𝘁 𝗸𝗲𝗲𝗽𝘀 𝘀𝗽𝗲𝗲𝗱 𝘄𝗵𝗶𝗹𝗲 𝘀𝗰𝗮𝗹𝗶𝗻𝗴 𝗰𝗼𝗻𝘁𝗲𝘅𝘁 Sự chú ý vẫn ở mức địa phương. Bộ nhớ xử lý quá khứ. • Chi phí suy diễn tuyến tính • Không có sự bùng nổ chú ý bậc hai • Độ chính xác ổn định qua hai triệu token 𝗜𝘁 𝗮𝗹𝗹𝗼𝘄𝘀 𝘆𝗼𝘂 𝘁𝗼 𝗯𝘂𝗶𝗹𝗱 𝗻𝗲𝘄 𝗸𝗶𝗻𝗱𝘀 𝗼𝗳 𝗮𝗽𝗽𝘀 Bạn có thể xử lý toàn bộ sách, nhật ký hoặc bộ gen trong một lần. Bạn có thể giữ trạng thái qua các phiên dài. Bạn có thể ngừng phân đoạn ngữ cảnh chỉ để sống sót qua các giới hạn.