Nous avons concocté un autre de ces livres pratiques de plus de 200 pages sur l'entraînement de modèles que nous adorons écrire. Cette fois, il s'agit de toutes les recettes de pré-entraînement et de post-entraînement et de la manière de réaliser une exploration des hyperparamètres d'un projet d'entraînement. Clôturant la trilogie de : 1. Construire un ensemble de données de pré-entraînement avec le « post de blog FineWeb » 2. Élargir l'infrastructure du cluster GPU avec le « Playbook Ultrascale » 3. Et maintenant toutes les recettes d'entraînement et l'exploration des HP pour le pré- et le post-entraînement avec ce « Smol Training Playbook » L'équipe scientifique de HF est en feu.