我從零開始建立了自己的 ChatGPT，你也可以。 karpathy 的 nanochat 是一個單一、乾淨、簡約且可黑客入侵的代碼庫，用於構建現代 LLM。 通過設置這個，你將學會如何： > 從頭開始訓練一個分詞器 > 預訓練：掌握下一個單詞預測 > 中期訓練：教模型進行對話 > sft：在高質量對話數據集上進行微調 > 評估並記錄過程中的每一步 我在 LightningAI 工作室上完成了這一切，你可以通過一次點擊重現所有內容（無需設置）。 下一條推文中有鏈接！