RETRO (DeepMind, 2021) je krásná myšlenka, ke které je třeba se vrátit Hlavní inovací RETRA je, že malý model rozhoduje, jaký token bude předpovídat příště, ale všechny znalosti outsourcuje do velkého offline datového úložiště To má další výhodu v tom, že vám umožní vkládat a odebírat fakta modulárním způsobem úpravou datového úložiště, aniž byste museli model znovu trénovat Ideál malého modelu (kognitivní jádro Karpathy, Yada Yada) opravdu dobře zapadá. můžete také vrstvit více nástrojů, stačí začít s úložištěm jazykových dat, které je nejdůležitějším nástrojem RETRO si zaslouží mnohem větší uznání. Zvláště teď, když se malé modely tak zlepšily