RETRO (DeepMind, 2021) är en vacker idé, en som är i stort behov av att ses över Den centrala innovationen i Retro är att låta en liten modell bestämma vilken token som ska förutsäga härnäst, men lägga ut all kunskap på entreprenad till ett stort offlinedatalager Detta har den extra fördelen att du kan infoga och ta bort fakta på ett modulärt sätt genom att ändra datalagret, utan att träna om modellen Passar idealet för en liten modell (Karpathys kognitiva kärna Yada Yada) riktigt bra. Du kan också lägga till fler verktyg och börja med ett språkdatalager som är det viktigaste verktyget RETRO förtjänar mycket mer erkännande. Speciellt nu när små modeller har blivit så mycket bättre