Ajustemos OpenAI gpt-oss (100% localmente):

Hoy, aprendamos a ajustar localmente el último gpt-oss de OpenAI. Le daremos capacidades de razonamiento multilingüe como se muestra en el video. Usaremos: - @UnslothAI para un ajuste eficiente. - @huggingface transformers para ejecutarlo localmente. ¡Comencemos!

1️⃣ Carga el modelo Comenzamos cargando el modelo gpt-oss (variante de 20B) y su tokenizador usando Unsloth. Revisa esto 👇

2️⃣ Definir la configuración de LoRA Usaremos LoRA para un ajuste fino eficiente. Para hacer esto, utilizamos PEFT de Unsloth y especificamos: - El modelo - LoRA de rango bajo (r) - Capas para el ajuste fino, etc. Revisa este código 👇

3️⃣ Cargar conjunto de datos Vamos a ajustar gpt-oss y ayudarlo a desarrollar capacidades de razonamiento multilingüe. Así que cargamos el conjunto de datos de pensamiento multilingüe, que tiene: - Consulta del usuario en inglés. - Razonamiento en diferentes idiomas. - Respuesta en inglés. Revisa esto 👇

4️⃣ Preparar el conjunto de datos Antes de ajustar, debemos preparar el conjunto de datos en un formato conversacional: - Estandarizamos el conjunto de datos. - Elegimos el campo de mensajes. - Aplicamos la plantilla de chat a esto. Revisa el código y una muestra de datos 👇

5️⃣ Definir Entrenador Aquí, creamos un objeto Entrenador especificando la configuración de entrenamiento, como la tasa de aprendizaje, el modelo, el tokenizador y más. Mira esto 👇

6️⃣ Entrenamiento Con eso hecho, iniciamos el entrenamiento. La pérdida generalmente está disminuyendo con los pasos, lo que significa que el modelo se está ajustando correctamente. Revisa este código y los registros de entrenamiento 👇

Finalmente, el video muestra cómo se solicita al LLM antes y después del ajuste fino. Después del ajuste fino, el modelo es capaz de generar los tokens de razonamiento en francés antes de generar la respuesta final en inglés. Revisa esto 👇

¡Eso es todo! Si te ha resultado interesante, vuelve a compartirlo con tu red. Encuéntrame → @_avichawla Todos los días, comparto tutoriales e ideas sobre DS, ML, LLM y RAG.