Affinons OpenAI gpt-oss (100 % localement) :

Aujourd'hui, apprenons à peaufiner le dernier gpt-oss d'OpenAI localement. Nous lui donnerons des capacités de raisonnement multilingue comme montré dans la vidéo. Nous utiliserons : - @UnslothAI pour un peaufinement efficace. - @huggingface transformers pour l'exécuter localement. Commençons !

1️⃣ Chargez le modèle Nous commençons par charger le modèle gpt-oss (variante 20B) et son tokenizer en utilisant Unsloth. Vérifiez ceci 👇

2️⃣ Définir la configuration LoRA Nous allons utiliser LoRA pour un ajustement fin efficace. Pour ce faire, nous utilisons PEFT d'Unsloth et spécifions : - Le modèle - Le rang faible de LoRA (r) - Les couches pour l'ajustement fin, etc. Vérifiez ce code 👇

3️⃣ Charger le jeu de données Nous allons affiner gpt-oss et l'aider à développer des capacités de raisonnement multilingues. Nous chargeons donc le jeu de données de pensée multilingue, qui contient : - Requête utilisateur en anglais. - Raisonnement dans différentes langues. - Réponse en anglais. Vérifiez ceci 👇

4️⃣ Préparer le jeu de données Avant le fine-tuning, nous devons préparer le jeu de données dans un format conversationnel : - Nous standardisons le jeu de données. - Nous sélectionnons le champ des messages. - Nous appliquons le modèle de chat à cela. Vérifiez le code et un échantillon de données 👇

5️⃣ Définir le Formateur Ici, nous créons un objet Formateur en spécifiant la configuration d'entraînement, comme le taux d'apprentissage, le modèle, le tokenizer, et plus encore. Regardez ça 👇

6️⃣ Entraînement Une fois cela fait, nous lançons l'entraînement. La perte diminue généralement avec les étapes, ce qui signifie que le modèle est correctement ajusté. Vérifiez ce code et les journaux d'entraînement 👇

Enfin, la vidéo montre comment inciter le LLM avant et après le fine-tuning. Après le fine-tuning, le modèle est capable de générer les tokens de raisonnement en français avant de générer la réponse finale en anglais. Vérifiez cela 👇

C'est fini ! Si vous l'avez trouvé instructif, partagez-le avec votre réseau. Trouvez-moi → @_avichawla Chaque jour, je partage des tutoriels et des idées sur DS, ML, LLMs et RAGs.