Pourquoi la grandeur ne peut pas être planifiée Les éditions anglaise et japonaise ont maintenant trouvé un foyer à la bibliothèque @SakanaAILabs ✨

Le coût élevé nécessaire pour former de grands modèles de base en fait l'actif le plus rapidement déprécié de l'histoire humaine.

Nous avons pu reproduire les résultats solides de l'article HRM sur ARC-AGI-1. De plus, nous avons réalisé une série d'expériences d'ablation pour comprendre ce qui se cache derrière. Principales conclusions : 1. L'architecture du modèle HRM elle-même (le point central de l'article) n'est pas un facteur important. 2. La boucle de raffinement externe (à peine mentionnée dans l'article) est le principal moteur de la performance. 3. L'apprentissage par transfert inter-tâches n'est pas très utile. Ce qui compte, c'est de s'entraîner sur les tâches que vous allez tester. 4. Vous pouvez utiliser beaucoup moins d'augmentations de données, surtout au moment de l'inférence. Les conclusions 2 et 3 signifient que cette approche est un cas de *formation au moment du test sans pré-entraînement*, similaire à l'article récemment publié "ARC-AGI sans pré-entraînement" par Liao et al.