博士課程中に実践された主な「思考サイクル」: - 一貫性に欠ける問題空間の領域を特定する - 実際に考える時間を確保する - 具体的な思考の進歩を遂げる」、これまで気づかなかったこと このプロセスを最適化して強力になります

モデルコミュニケーションはゆっくりと、そして一度に行われます。 レベル0:モデルとプログラムが通信するためのテキストベースのプロトコルを設計します(読み:MCP) レベル1:テキストベースのモデル通信は、世界中のインターネットビットストリーム量で人間の通信を上回る成長 レベル2:モデルは徐々にUnicodeニューラルにコードスイッチし、ある種の理解できない英語-中国語-コンピュータースピークのハイブリッド(マルチエージェントRLの規模が大きくなるにつれて、より普及するでしょう) レベル3:モデルは、潜在空間で通信し、トークンの代わりにベクトルの交換を開始する方が効率的で表現力豊かであることに気づきます(本質的にはゲームオーバーです)

RETRO (DeepMind、2021 年) は美しいアイデアであり、再検討する必要があるものです Retro の中心的な革新は、小さなモデルで次に予測するトークンを決定し、すべての知識を大規模なオフライン データストアにアウトソーシングすることです これには、モデルを再トレーニングすることなく、データストアを変更することでモジュール式の方法でファクトを挿入および削除できるという追加の利点があります 小さなモデル(カルパシーの認知コアヤダヤダ)の理想に本当によく当てはまります。最も重要なツールである言語データストアから始めるだけで、より多くのツールを重ねることもできます RETROはもっと評価に値します。 特に小型モデルがはるかに良くなった今

これらの推論の痕跡は私を夜も眠らせませんでした 左: IMO ゴールドを獲得した新しい OpenAI モデル 右側: ランダムな数学問題に関する DeepSeek R1 昨年以来、学界は推論に関する1,000以上の論文を作成しました(おそらくそれ以上)。 私たちは事実上皆、推論について考えています しかし、私たちのすべてのシステムは、右側の DeepSeek のように見える「思考の痕跡」を生成します。 それらは信じられないほど、不快なほど冗長で、過失に近い速度でトークンを燃やしています。 推論の多くは不必要であり、一部は完全に間違っています しかし、左派の推論、この新しいものは、まったく別のものです。 明らかにステップ関数の変更。 まったく異なる方法になる可能性があります それは「実際の」推論に非常に近いものです。トークンが無駄になりません。 どちらかといえば、非常に簡潔です。人間の解決策はこれよりも冗長だと思います 明らかに、まったく異なることが起こっています。おそらくOpenAIはまったく新しいRLVRトレーニングプロセスを開発したのでしょう。 専門家からの特別なデータ収集があるかもしれません。 おそらく彼らは、実際に何らかの形でモデルに利益をもたらす方法で考えすぎたことに対して、モデルにペナルティを課し始めたのかもしれません 本当に魅力的なもの... 一般的に、これは私をR1スタイルの推論に弱気にさせます

10兆パラメータのLLMを手に入れたらこんな感じなのだろうか

超カッコいい! 感激 そして、トップの AI 研究者のほとんどが実際には Twitter を利用していないことを思い出させてくれます。 ほとんどはツイートせず、多くはアカウントを持っていません ここで最も騒々しい人々、AI について最も多く投稿している人々は、通常、単なるランダムな匿名の技術者兄弟です

人は単に研究問題を「解決」するわけではありません 代わりに、第一原理から新しい知的枠組みを開発します。 おそらく数か月にわたって質問やサブ質問をしたり答えたりします 最終的に、元の問題を再検討すると、それは些細なことであることに気づきます

まだ議論されたとは聞いたことがありませんが、AIは基本的にハッカソンを殺しました。 2019 年のハッカソンで作成できるほぼすべてのものは、2025 年には AI によってより良く、より迅速に構築できます

これは悪いコードですよね?

おそらく10倍の人が迅速な最適化に取り組むべきです システム (promptopt には vLLM が必要です)、理論、新しい技術、ベンチマーク。 キット全体とカブードル