@WithMultiply@Forbesからの素晴らしいプロフィールと、フルフィルメントに対する当社のエージェント的アプローチと専門アドバイザーおよび雇用主の配分を組み合わせることで、家庭の手頃な価格が再び実現する方法。スレッド内のリンク

中間ステップで値関数を提供できれば、セルフプレイがLLMで機能する理由を直感的に簡単に理解できます(ただし、2人用のゼロサムゲームほど明確に保証されていません)。 チェス/ゴー/ポーカーでは、次の動きごとに報酬が伴いますが、ノームが指摘するように、自然言語は厄介です。トークンのような中間ステップで値関数を定義することは困難です。その結果、通常の強化学習 (RLVR など) では、LLM は最後に報酬を受け取ります。彼らは、難しい問題に対してもっと「蛇行」することを学ぶことになります。ある意味、ブルートフォースにより多くのトークンを与え、正しいアプローチとして正しい答えにたどり着くようにします。 しかし、@DeepCogitoでは、思考プロセス自体にシグナルを提供します。概念的には、これは、より良い検索軌道に報酬を事後に割り当てることであると想像できます。これにより、モデルは推論しながら「検索方法」についてより強い直感を発達させることができます。 実際には、モデルは推論モードでのより難しい問題に対して推論チェーンが大幅に短くなります。やや意外なことに、思考しないモードでも最終的には良くなります。それについて考える 1 つの方法は、モデルが検索方法をよりよく知っているため、非思考モードで最も可能性の高い軌道をより適切に「選択」するということです。