让我们微调 OpenAI gpt-oss（100% 本地）:

今天，让我们学习如何在本地微调OpenAI最新的gpt-oss。 我们将赋予它多语言推理能力，如视频中所示。 我们将使用： - @UnslothAI 进行高效的微调。 - @huggingface transformers 在本地运行它。 让我们开始吧！

1️⃣ 加载模型 我们首先使用 Unsloth 加载 gpt-oss（20B 变体）模型及其分词器。 查看这个 👇

2️⃣ 定义 LoRA 配置 我们将使用 LoRA 进行高效的微调。 为此，我们使用 Unsloth 的 PEFT 并指定： - 模型 - LoRA 低秩 (r) - 微调的层等。 查看这段代码 👇

3️⃣ 加载数据集 我们将微调 gpt-oss，并帮助它发展多语言推理能力。 因此，我们加载多语言思维数据集，其中包含： - 英文用户查询。 - 不同语言的推理。 - 英文回复。 查看这个 👇

4️⃣ 准备数据集 在微调之前，我们必须将数据集准备为对话格式： - 我们对数据集进行标准化。 - 我们选择消息字段。 - 我们将聊天模板应用于此。 查看代码和数据示例 👇

5️⃣ 定义训练器 在这里，我们通过指定训练配置来创建一个训练器对象，例如学习率、模型、分词器等。 查看这个 👇

6️⃣ 训练 完成后，我们开始训练。 损失值通常随着步骤减少，这意味着模型正在正确地进行微调。 查看此代码和训练日志 👇

最后，视频展示了在微调前后提示LLM。 在微调后，模型能够在生成最终的英文响应之前，先用法语生成推理标记。 查看这个👇

结束了！ 如果你觉得这很有启发性，请与您的网络分享。 找到我 → @_avichawla 每天，我都会分享关于数据科学、机器学习、大型语言模型和检索增强生成的教程和见解。