RETRO (DeepMind, 2021) adalah ide yang indah, yang sangat perlu ditinjau kembali Inovasi utama retro adalah memiliki model kecil yang memutuskan token apa yang akan diprediksi selanjutnya, tetapi mengalihdayakan semua pengetahuan ke penyimpanan data offline yang besar Ini memiliki manfaat tambahan karena memungkinkan Anda menyisipkan dan menghapus fakta secara modular dengan memodifikasi penyimpanan data, tanpa melatih ulang model Cocok dengan ideal model kecil (inti kognitif Karpathy, Yada) dengan sangat baik. Anda juga dapat melapisi lebih banyak alat, hanya dimulai dengan penyimpanan data bahasa yang merupakan alat Terpenting RETRO pantas mendapatkan lebih banyak pengakuan. Terutama sekarang model kecil menjadi jauh lebih baik