Googleは言語モデルに本物の長期記憶を与えたのです。 新しいアーキテクチャは推論中に学習し、数百万トークンにわたる文脈を保持します。 1000万トークンで約70%の精度を保持します。 このアーキテクチャは実行中に学習します Titansは生成中に更新される神経長期記憶を追加します。 ウェイトではありません。再訓練ではありません。ライブラーニング。 ・小規模なニューラルネットワークが長距離コンテキストを保存します ・予期せぬ事態が発生した場合にのみ更新されます ・速さを維持するためにルーチントークンは無視されます これにより、モデルはすべてを再度スキャンすることなく、はるかに古いテキストの事実を記憶できます。 速度を維持しつつコンテキストをスケーリングできます 注意は局所に留まります。記憶は過去を扱います。 ・線形推論コスト ・二次注意の爆発なし • 200万トークンを超えた安定した精度 新しい種類のアプリを作ることができます 本やログ、ゲノムを一度に処理できます。 長時間のセッションでも状態を保持できます。 限界を生き延びるためにコンテキストをチャンクするのをやめましょう。