RETRO (DeepMind, 2021) este o idee frumoasă, una care are mare nevoie de revizuire Inovația centrală a retro este ca un model mic să decidă ce token să prezică în continuare, dar să externalizeze toate cunoștințele către un depozit mare de date offline Acest lucru are avantajul suplimentar de a vă permite să inserați și să eliminați fapte într-un mod modular prin modificarea depozitului de date, fără a reinstrui modelul Se potrivește foarte bine idealului unui model mic (nucleul cognitiv al lui Karpathy, yada yada). puteți adăuga și mai multe instrumente, doar începând cu un depozit de date lingvistic care este cel mai important instrument RETRO merită mult mai multă recunoaștere. Mai ales acum că modelele mici au devenit mult mai bune