Давайте доработаем OpenAI gpt-oss (100% локально):

Сегодня давайте научимся настраивать последнюю версию gpt-oss от OpenAI локально. Мы придадим ему многоязычные способности к рассуждению, как показано в видео. Мы будем использовать: - @UnslothAI для эффективной настройки. - @huggingface transformers для локального запуска. Давайте начнем!

1️⃣ Загрузите модель Мы начинаем с загрузки модели gpt-oss (вариант 20B) и ее токенизатора с помощью Unsloth. Проверьте это 👇

2️⃣ Определите конфигурацию LoRA Мы будем использовать LoRA для эффективной донастройки. Для этого мы используем PEFT от Unsloth и указываем: - Модель - Низкий ранг LoRA (r) - Слои для донастройки и т.д. Проверьте этот код 👇

3️⃣ Загрузите набор данных Мы доработаем gpt-oss и поможем ему развить многоязычные способности рассуждения. Итак, мы загружаем набор данных многоязычного мышления, который содержит: - Запрос пользователя на английском. - Рассуждение на разных языках. - Ответ на английском. Проверьте это 👇

4️⃣ Подготовьте набор данных Перед дообучением мы должны подготовить набор данных в разговорном формате: - Мы стандартизируем набор данных. - Мы выбираем поле сообщений. - Мы применяем к нему шаблон чата. Проверьте код и образец данных 👇

5️⃣ Определите Тренера Здесь мы создаем объект Тренера, указывая конфигурацию обучения, такую как скорость обучения, модель, токенизатор и многое другое. Посмотрите на это 👇

6️⃣ Обучение С этим завершено, мы начинаем обучение. Потери, как правило, уменьшаются с шагами, что означает, что модель корректно настраивается. Проверьте этот код и журналы обучения 👇

Наконец, видео показывает, как запрашивать LLM до и после дообучения. После дообучения модель способна генерировать токены рассуждения на французском языке перед тем, как сгенерировать окончательный ответ на английском. Проверьте это 👇

На этом всё! Если вам это было полезно, поделитесь с вашей сетью. Найдите меня → @_avichawla Каждый день я делюсь уроками и инсайтами по DS, ML, LLM и RAG.