在社交媒體時代，感覺每個人都在忙於 NeurIPS 的評論和反駁，但沒有人公開談論這件事，這真是奇怪。 我參與了三個反駁，其中一個讓我非常沮喪。 還有誰在忙於反駁？你們進展如何？

山姆·阿特曼想要建立一個在 Codeforces 上評分為 3200 的模型，但對於山姆·阿特曼是誰卻毫無頭緒。 我覺得這很美。

我花了幾個小時與 gpt-oss 交談，可以肯定地說，它與我測試過的任何模型都不同。 有時它為我編寫專業級的代碼，下一秒卻又在編造基本事實，無論我說什麼都堅持不懈。 有些非常奇怪的事情正在發生。

博士學位期間實踐的主要「思考循環」： - 確定問題空間中缺乏一致性的區域 - 撥出時間實際思考 - 產出具體的思考進展，這是你之前未曾意識到的 優化這個過程，變得強大

模型通信將會緩慢進行，然後一下子全部發生： 第0級：我們設計一種基於文本的協議，讓模型和程序進行通信（讀作：MCP） 第1級：基於文本的模型通信在全球互聯網比特流量中超過人類通信 第2級：模型逐漸轉換為Unicode神經語言，一種難以理解的英中計算機語言混合體（隨著我們擴大多代理強化學習的規模，這種情況會變得更加普遍） 第3級：模型意識到在潛在空間中進行通信更高效且表達更豐富，開始交換向量而不是標記（對我們來說基本上是遊戲結束）

RETRO（DeepMind，2021）是一個美妙的想法，迫切需要重新審視 RETRO的核心創新是讓一個小模型決定下一個要預測的標記，但將所有知識外包給一個大型的離線數據存儲 這還有一個額外的好處，就是可以通過修改數據存儲以模塊化的方式插入和刪除事實，而無需重新訓練模型 這非常符合小模型的理想（Karpathy的認知核心等等）。你還可以層疊更多工具，首先從一個語言數據存儲開始，這是最重要的工具 RETRO值得更多的認可。特別是現在小模型已經變得如此出色。

這些推理痕跡讓我夜不能寐 左邊：新的 OpenAI 模型獲得了 IMO 金獎 右邊：DeepSeek R1 在一個隨機數學問題上的表現 你需要意識到，自去年以來，學術界已經產出了超過一千篇關於推理的論文（可能更多）。我們幾乎都在思考推理 但我們所有的系統產生的「思考痕跡」看起來都像右邊的 DeepSeek。它們非常冗長，消耗代幣的速度幾乎到了疏忽的地步。很多推理都是不必要的，有些甚至完全錯誤 但左邊的推理，這個新東西，完全是另一回事。顯然是一個階段性變化。可能是完全不同的方法 它更接近於*真正*的推理。沒有代幣被浪費。如果有的話，它是異常簡潔的；我猜人類的解決方案比這更冗長 顯然有些非常不同的事情正在發生。也許 OpenAI 開發了一個全新的 RLVR 訓練過程。也許有一些來自專家的特殊數據收集。也許他們開始懲罰模型過度思考，以某種方式實際上對它有益 真的很有趣的東西……總的來說，這讓我對 R1 風格的推理感到悲觀

我想知道當我們擁有10萬億參數的LLM時，會是什麼樣子。

超酷的！鼓舞人心 這也很好地提醒我們，大多數頂尖的 AI 研究人員事實上並不在 Twitter 上。大多數人不發推文，許多人沒有帳戶。 這裡最吵的人，發佈最多有關 AI 的人，通常只是隨機的匿名科技兄弟。

人們並不簡單地「解決」研究問題。 而是從基本原則出發，發展出一個新的智識框架。 提出問題並回答問題及子問題，可能需要幾個月的時間。 最終，當重新審視原始問題時，會發現它是微不足道的。