我从零开始构建了自己的 ChatGPT，你也可以。 karpathy 的 nanochat 是一个单一、干净、简约且可黑客化的代码库，用于构建现代 LLM。 通过设置这个，你将学习如何： > 从头开始训练一个分词器 > 预训练：掌握下一个单词预测 > 中期训练：教模型进行对话 > sft：在高质量对话数据集上进行微调 > 评估并记录每一步的过程 我在 LightningAI 工作室完成了这个，你可以通过一次点击复现所有内容（无需设置）。 下条推文中有链接！