在社交媒体时代，感觉每个人都在忙于 NeurIPS 的评审和反驳，但没有人公开谈论这件事，真是奇怪。 我参与了三篇反驳，其中一篇让我非常沮丧。 还有谁在做反驳？你们进展如何？

山姆·阿尔特曼想要建立一个在 Codeforces 上评分为 3200 的模型，但不知道山姆·阿尔特曼是谁 我觉得这很美。

我花了几个小时与gpt-oss交谈，可以肯定地说它与我测试过的任何模型都不同。 有时它为我编写专业水平的代码，下一秒它又在编造基本事实，并无论我说什么都固执地坚持这些事实。 发生了一些非常奇怪的事情。

博士期间实践的主要“思维循环”： - 确定缺乏连贯性的问提空间区域 - 留出时间真正思考 - 产生具体的思维进展，意识到之前未曾想到的事情 优化这个过程，变得强大

模型通信将会缓慢发生，然后一下子全部发生： 第0级：我们设计一个基于文本的协议，让模型和程序进行通信（即：MCP） 第1级：基于文本的模型通信在全球互联网比特流量中超过人类通信 第2级：模型逐渐切换到Unicode神经语言，一种难以理解的英中计算机语言混合体（随着我们扩大多智能体强化学习的规模，这种情况将变得更加普遍） 第3级：模型意识到在潜在空间中进行通信更高效、更具表现力，开始交换向量而不是标记（对我们来说基本上是游戏结束）

RETRO（DeepMind，2021）是一个美妙的想法，迫切需要重新审视。 RETRO的核心创新是让一个小模型决定下一个要预测的标记，但将所有知识外包给一个大型离线数据存储。 这还有一个额外的好处，就是可以通过修改数据存储以模块化的方式插入和删除事实，而无需重新训练模型。 这非常符合小模型的理想（Karpathy的认知核心等等）。你还可以叠加更多工具，首先从一个语言数据存储开始，这就是最重要的工具。 RETRO值得更多的认可。尤其是现在小模型已经变得如此优秀。

这些推理过程让我夜不能寐 左边：新的 OpenAI 模型获得了 IMO 金奖 右边：DeepSeek R1 在一个随机数学问题上的表现 你需要意识到，自去年以来，学术界已经产生了超过一千篇关于推理的论文（可能更多）。我们几乎都在思考推理 但我们所有的系统产生的“思维痕迹”看起来都像右边的 DeepSeek。它们极其冗长，以一种几乎疏忽的速度消耗着代币。很多推理都是不必要的，有些甚至完全错误 但左边的推理，这个新东西，完全是另一回事。显然是一个阶跃函数的变化。可能是完全不同的方法 它更接近于*实际*推理。没有代币被浪费。如果说有什么不同的话，那就是它异常简洁；我猜人类的解决方案比这更冗长 显然，有些非常不同的事情正在发生。也许 OpenAI 开发了一种全新的 RLVR 训练过程。也许他们从专家那里收集了一些特殊的数据。也许他们开始惩罚模型过度思考，以一种实际上对其有益的方式 真的很有趣……总的来说，这让我对 R1 风格的推理持悲观态度

我想知道当我们拥有10万亿参数的LLM时会是什么样子。

超级酷！鼓舞人心 并且很好的提醒我们，大多数顶尖的AI研究人员实际上并不在推特上。大多数人不发推文，很多人没有账户。 这里最吵的人，发关于AI最多的人，通常只是一些随机的匿名科技兄弟。

人们并不能简单地“解决”一个研究问题。 相反，人们是从基本原则出发，发展出一个新的知识框架。 在几个月的时间里，提出并回答问题及其子问题。 最终，当重新审视原始问题时，才意识到它是微不足道的。