今年夏初，OpenAI 和 Anthropic 同意在彼此的模型上尝试一些我们现有的最佳不一致性测试。 在私下讨论我们的结果后，我们现在将其与世界分享。🧵

又到了我们一年一度的庆祝盛会。GPU MODE 将于 10 月 24 日星期五上午 10 点至晚上 10 点在旧金山市中心再次线下聚会，全天进行黑客活动。

介绍 DeepConf：自信地深思 🚀 首个使用开源模型在 AIME 2025 上实现 99.9% 的方法！即使没有工具，使用 GPT-OSS-120B，我们也达到了几乎完美的准确率，同时节省了多达 85% 的生成令牌。 它还为并行思维提供了许多强大的优势： 🔥 性能提升：模型和数据集的准确率提高约 10% ⚡ 超高效：生成的令牌减少多达 85% 🔧 即插即用：与任何现有模型兼容 - 无需训练（也无需超参数调整！） ⭐ 易于部署：在 vLLM 中只需 ~50 行代码（见下面的 PR） 📚 论文： 🌐 项目： 与以下人员共同合作：@FuYichao123 , xuewei_wang, @tydsh （请查看下面的评论中的详细信息）

我们能否通过 KV 缓存重计算来打破 LLM 推理的内存壁垒？ 🚨 介绍 XQuant，它利用未充分利用的计算单元来消除 LLM 推理的内存瓶颈！ • 与 FP16 相比节省 10–12.5 倍内存 • 几乎没有准确性损失 • 超越最先进的 KV 量化🔥 关键见解： 1. KV 缓存 = 瓶颈 → 随着上下文长度和批量大小线性增长。 2. 计算 >> 内存 → GPU 提供的 FLOPs 速度比内存带宽快几个数量级。 3. 关键思想 → 不存储 KV，只需重新计算它。 🧠 由于 LLM 推理通常受限于内存带宽，计算单元往往处于空闲和未充分利用状态。因此，我们可以在没有任何开销的情况下利用这些可用的计算资源！ GPU 硬件趋势表明，计算能力的增长速度远快于内存带宽。因此，减少内存操作以换取更多计算可以帮助加速 LLM 推理。KV 缓存随着序列长度和批量大小线性增长，在 LLM 推理过程中产生大部分内存操作。如果我们可以通过额外的计算来避免加载和存储 KV 缓存，我们就可以加速推理！ XQuant 利用这一硬件趋势：🧵 [1/7] 论文： 与以下人员共同合作：@coleman_hooper1 @mjlee_official 来自 @FuriosaAI @HaochengXiUCB @rish2k1 Wonjun Kang 来自 @FuriosaAI @lucamanolache0 Michael Mahoney @KurtKeutzer @amir__gholami

在我看来，SWE-bench 和 T-bench 是少数几个在我们模型进展方面有良好信号的基准。这款模型的表现与 Qwen3 Coder 相当，仅比 GPT-5 差 10%，同时它还是一款通用的 LLM，而不是专门针对代码的。

看起来闭源与开放权重的格局已经趋于平衡。GPT-5在编码方面仅比可以在消费级桌面和即将推出的笔记本电脑上运行的开放权重模型好10%。如果Anthropic无法提出一个好的模型，那么我们可能在一段时间内看不到AGI。

思维的洗礼：与其保留你的Twitter/𝕏收入，不如将其用于你选择的“收入挑战”——任何你希望在世界上更多的东西！ 这是我这一轮的挑战，结合我最近的3次收入，总计$5478.51： 人类在人工智能崛起的同时，绝不能倒下。人类必须继续崛起，与之共同进步。创造一些专门旨在提升人类团队的东西。定义故意留得有些模糊，以保持人们对其解释的某种熵，但在我看来，例子包括： - 任何有助于解释、可视化、记忆、启发、理解、协调等的软件。 - 不必太高大上，例如，它可以是某个特定的教育文章/视频，解释一些其他人可能受益的内容，或者你拥有独特知识的内容。 - 用于解释的提示/代理，例如，类似于最近发布的ChatGPT学习模式。 - 相关的艺术作品 这个挑战将持续2周，直到8月17日太平洋标准时间结束。请将你的贡献作为回复提交。它必须是为这个挑战独特创造的东西，否则不会存在。标准包括执行、杠杆、创新、启发、美学、娱乐。人们可以通过点赞来为提交的作品投票，这个“民意选择”也将是一个因素。我将在8月17日决定获胜者，并发送$5478.51 :)

一些更新 🚨 我于 2025 年 6 月在 @uwcse 完成了博士学位！ 在 AI2 担任研究科学家一年后，我将于 2026 年秋季加入 CMU @LTIatCMU & @mldcmu（礼貌）担任助理教授。 旅程、致谢和招聘 🧵

宣布我们在 LLM 的 FP4 推理方面的早期工作！ - QuTLASS：对 Blackwell GPU 的低精度内核支持 - FP-Quant：用于 Llama/Qwen 的灵活量化工具 与 BF16 相比，我们达到了 4 倍的加速，通过 MXFP4 微缩放 + 融合的 Hadamard 旋转具有良好的精度。

标记化只是“分块”的一个特例——将低级数据构建成高级抽象——这反过来又是智能的基础。 我们的新架构支持分层*动态分块*，不仅没有分词器，而且扩展性更好。