RETRO (DeepMind, 2021) to piękny pomysł, który pilnie potrzebuje ponownego przemyślenia. Centralna innowacja RETRO polega na tym, że mały model decyduje, jaki token przewidzieć następny, ale całą wiedzę zleca dużemu offline'owemu magazynowi danych. Ma to dodatkową zaletę, ponieważ pozwala na wstawianie i usuwanie faktów w modułowy sposób poprzez modyfikację magazynu danych, bez potrzeby ponownego trenowania modelu. Idealnie pasuje do koncepcji małego modelu (kognitywne jądro Karpathy'ego itd.). Można również dodać więcej narzędzi, zaczynając od magazynu danych językowych, który jest Najważniejszym narzędziem. RETRO zasługuje na znacznie większe uznanie, zwłaszcza teraz, gdy małe modele stały się znacznie lepsze.