Andrej Karpathy : Les données d'entraînement sur Internet sont terribles, donc les grands modèles finissent par compresser la "mémoire" au lieu de faire un travail cognitif. Utilisez des modèles intelligents pour filtrer vers le noyau cognitif. Avec des données plus propres, des modèles plus petits, probablement distillés d'un modèle plus puissant, suffisent.