Vamos ajustar o OpenAI gpt-oss (100% localmente):

Hoje, vamos aprender como ajustar localmente o mais recente gpt-oss da OpenAI. Daremos a ele recursos de raciocínio multilíngue, conforme mostrado no vídeo. Usaremos: - @UnslothAI para um ajuste fino eficiente. - @huggingface transformadores para executá-lo localmente. Vamos começar!

1️⃣ Carregue o modelo Começamos carregando o modelo gpt-oss (variante 20B) e seu tokenizer usando o Unsloth. Verifique isso 👇

2️⃣ Definir configuração LoRA Usaremos o LoRA para um ajuste fino eficiente. Para fazer isso, usamos o PEFT da Unsloth e especificamos: - O modelo - LoRA de classificação baixa (r) - Camadas para ajuste fino, etc. Verifique este código 👇

3️⃣ Carregar conjunto de dados Vamos ajustar o gpt-oss e ajudá-lo a desenvolver recursos de raciocínio multilíngue. Então, carregamos o conjunto de dados de pensamento multilíngue, que tem: - Consulta do usuário em inglês. - Raciocinar em diferentes idiomas. - Resposta em inglês. Verifique isso 👇

4️⃣ Preparar conjunto de dados Antes do ajuste fino, devemos preparar o conjunto de dados em um formato de conversação: - Padronizamos o conjunto de dados. - Escolhemos o campo de mensagens. - Aplicamos o modelo de chat a ele. Verificar o código e um exemplo 👇 de dados

5️⃣ Definir Trainer Aqui, criamos um objeto Trainer especificando a configuração de treinamento, como taxa de aprendizado, modelo, tokenizer e muito mais. Confira isso 👇

6️⃣ Trem Feito isso, iniciamos o treinamento. A perda geralmente diminui com as etapas, o que significa que o modelo está sendo ajustado corretamente. Verifique este código e os logs 👇 de treinamento

Finalmente, o vídeo mostra a solicitação do LLM antes e depois do ajuste fino. Após o ajuste fino, o modelo é capaz de gerar os tokens de raciocínio em francês antes de gerar a resposta final em inglês. Verifique isso 👇

Isso é tudo! Se você achou perspicaz, compartilhe-o novamente com sua rede. Encontre-me → @_avichawla Todos os dias, compartilho tutoriais e insights sobre DS, ML, LLMs e RAGs.