RETRO (DeepMind、2021 年) は美しいアイデアであり、再検討する必要があるものです Retro の中心的な革新は、小さなモデルで次に予測するトークンを決定し、すべての知識を大規模なオフライン データストアにアウトソーシングすることです これには、モデルを再トレーニングすることなく、データストアを変更することでモジュール式の方法でファクトを挿入および削除できるという追加の利点があります 小さなモデル(カルパシーの認知コアヤダヤダ)の理想に本当によく当てはまります。最も重要なツールである言語データストアから始めるだけで、より多くのツールを重ねることもできます RETROはもっと評価に値します。 特に小型モデルがはるかに良くなった今
38.25K