谷歌刚刚为语言模型提供了真正的长期记忆。 一种新架构在推理过程中学习，并在数百万个标记之间保持上下文。 在一千万个标记时，它的准确率约为70%。 𝗧𝗵𝗶𝘀 𝗮𝗿𝗰𝗵𝗶𝘁𝗲𝗰𝘁𝘂𝗿𝗲 𝗹𝗲𝗮𝗿𝗻𝘀 𝘄𝗵𝗶𝗹𝗲 𝗶𝘁 𝗿𝘂𝗻𝘀 Titans 添加了一个神经长期记忆，在生成过程中进行更新。 不是权重。不是再训练。实时学习。 • 一个小型神经网络存储长距离上下文 • 仅在出现意外情况时更新 • 常规标记被忽略以保持快速 这使得模型能够记住早期文本中的事实，而无需再次扫描所有内容。 𝗜𝘁 𝗸𝗲𝗲𝗽𝘀 𝘀𝗽𝗲𝗲𝗱 𝘄𝗵𝗶𝗹𝗲 𝘀𝗰𝗮𝗹𝗶𝗻𝗴 𝗰𝗼𝗻𝘁𝗲𝘅𝘁 注意力保持局部。记忆处理过去。 • 线性推理成本 • 没有二次注意力爆炸 • 在超过两百万个标记时保持稳定的准确性 𝗜𝘁 𝗮𝗹𝗹𝗼𝘄𝘀 𝘆𝗼𝘂 𝘁𝗼 𝗯𝘂𝗶𝗹𝗱 𝗻𝗲𝘄 𝗸𝗶𝗻𝗱𝘀 𝗼𝗳 𝗮𝗽𝗽𝘀 您可以一次性处理完整的书籍、日志或基因组。 您可以在长时间会话中保持状态。 您可以停止分块上下文以应对限制。