私たちは、SOTA LLM のトレーニングに何が必要かを正確に共有するために、苦労して獲得した知識を蒸留した Smol トレーニング プレイブックを公開しました ⚡️ 主人公の SmolLM3 をフィーチャーして、以下について説明します。 🧭 独自のLLMをトレーニングしてVCの資金をすべて燃やすかどうかの戦略 🪨 事前トレーニング、つまり、山のようなテキストを派手なオートコンプリートに変換する 🗿トレーニング後の錬金術でベースモデルをスカルプトする方法 🛠️ 基礎となるインフラと、NCCL煉獄から抜け出すためのデバッグ方法 スレッド👇のトレーニング後の章のハイライト