Google sadece dil modellerine gerçek uzun vadeli hafıza verdi. Yeni bir mimari, çıkarım sırasında öğrenir ve milyonlarca token arasında bağlamı korur. 10 milyon tokenda ~%70 doğruluk oranına sahip. Bu mimari, çalışırken öğrenir Titans, üretim sırasında güncellenen bir sinirsel uzun süreli hafıza ekliyor. Ağırlıklar değil. Yeniden eğitim değil. Canlı öğrenme. • Küçük bir sinir ağı uzun menzilli bağlamı depolar • Sadece beklenmedik bir şey ortaya çıktığında güncellenir • Rutin tokenlar hızlı kalmak için görmezden geliniyor Bu, modelin çok daha önceki metindeki gerçekleri hatırlamasını sağlar ve her şeyi tekrar taramaya başlamaz. Bağlamı ölçeklendirirken hızını koruyor Dikkat yerel kalır. Hafıza geçmişi yönetir. • Doğrusal çıkarım maliyeti • Dörtrek dikkat patlamaları yok • İki milyon tokenı aşan istikrarlı doğruluk Yeni türde uygulamalar oluşturmanıza olanak tanır Tam kitapları, günlükleri veya genomları tek bir geçişte işleyebilirsiniz. Uzun oturumlar boyunca durum tutabilirsiniz. Sadece sınırları aşmak için bağlamı parçalamayı bırakabilirsiniz.