RETRO (DeepMind ، 2021) هي فكرة جميلة ، وهي فكرة في حاجة ماسة إلى إعادة النظر فيها يتمثل الابتكار المركزي ل Retro في أن يكون لديك نموذج صغير يحدد الرمز المميز الذي يجب التنبؤ به بعد ذلك ، ولكن الاستعانة بمصادر خارجية لجميع المعرفة إلى مخزن بيانات كبير غير متصل بالإنترنت هذا له فائدة إضافية تتمثل في السماح لك بإدراج الحقائق وإزالتها بطريقة معيارية عن طريق تعديل مخزن البيانات ، دون إعادة تدريب النموذج يناسب النموذج المثالي لنموذج صغير (جوهر كارباثي المعرفي يادا يادا) بشكل جيد حقا. يمكنك وضع المزيد من الأدوات أيضا ، بدءا من مخزن بيانات اللغة الذي يعد الأداة الأكثر أهمية يستحق RETRO مزيدا من التقدير. خاصة الآن بعد أن أصبحت النماذج الصغيرة أفضل بكثير