Google 剛剛為語言模型提供了真正的長期記憶。 一種新架構在推理過程中學習，並在數百萬個標記之間保持上下文。 在一千萬個標記下，它的準確率約為 70%。 𝗧𝗵𝗶𝘀 𝗮𝗿𝗰𝗵𝗶𝘁𝗲𝗰𝘁𝘂𝗿𝗲 𝗹𝗲𝗮𝗿𝗻𝘀 𝘄𝗵𝗶𝗹𝗲 𝗶𝘁 𝗿𝘂𝗻𝘀 Titans 增加了一個神經長期記憶，在生成過程中進行更新。 不是權重。不是再訓練。實時學習。 • 一個小型神經網絡存儲長距離上下文 • 只有在出現意外情況時才會更新 • 常規標記被忽略以保持速度 這使得模型能夠記住來自更早文本的事實，而無需再次掃描所有內容。 𝗜𝘁 𝗸𝗲𝗲𝗽𝘀 𝘀𝗽𝗲𝗲𝗱 𝘄𝗵𝗶𝗹𝗲 𝘀𝗰𝗮𝗹𝗶𝗻𝗴 𝗰𝗼𝗻𝘁𝗲𝘅𝘁 注意力保持局部。記憶處理過去。 • 線性推理成本 • 無二次注意力爆炸 • 穩定的準確性超過兩百萬個標記 𝗜𝘁 𝗮𝗹𝗹𝗼𝘄𝘀 𝘆𝗼𝘂 𝘁𝗼 𝗯𝘂𝗶𝗹𝗱 𝗻𝗲𝘄 𝗸𝗶𝗻𝗱𝘀 𝗼𝗳 𝗮𝗽𝗽𝘀 您可以在一次通過中處理完整的書籍、日誌或基因組。 您可以在長時間的會話中保持狀態。 您可以停止分塊上下文以應對限制。