RETRO (DeepMind, 2021) – прекрасна ідея, яка гостро потребує перегляду Основна інновація Retro полягає в тому, що невелика модель вирішує, який токен передбачати далі, але передає всі знання великому автономному сховищу даних Це має додаткову перевагу, дозволяючи вставляти та видаляти факти модульним способом шляхом модифікації сховища даних, без перенавчання моделі Дуже добре вписується в ідеал крихітної моделі (когнітивне ядро Карпати Яда-Яда). ви також можете використовувати більше інструментів, просто починаючи зі сховища даних на мові, яке є найважливішим інструментом РЕТРО заслуговує набагато більшого визнання. Особливо зараз, коли маленькі моделі стали набагато кращими