RETRO (DeepMind, 2021) er en vakker idé, en som sårt trenger å se på nytt Den sentrale innovasjonen i Retro er å få en liten modell til å bestemme hvilket token som skal forutsi neste gang, men outsource all kunnskap til et stort offline datalager Dette har den ekstra fordelen at du kan sette inn og fjerne fakta på en modulær måte ved å endre datalageret, uten å lære opp modellen på nytt Passer veldig godt til idealet om en liten modell (Karpathys kognitive kjerne Yada Yada). du kan legge på flere verktøy også, bare ved å starte med et språkdatalager som er det viktigste verktøyet RETRO fortjener mye mer anerkjennelse. spesielt nå som små modeller har blitt så mye bedre