我们刚刚发布了 Smol 训练手册:这是经过艰苦努力提炼的知识,分享训练 SOTA LLM 所需的确切内容 ⚡️ 以我们的主角 SmolLM3 为特色,我们涵盖了: 🧭 是否训练自己的 LLM 并烧掉所有风险投资资金的策略 🪨 预训练,也就是将大量文本转化为一个华丽的自动补全器 🗿 如何通过后训练炼金术雕刻基础模型 🛠️ 基础设施及如何调试以摆脱 NCCL 地狱 后训练章节的亮点在下面的线程中 👇