大型语言模型的链式思维推理是一种幻影吗? ……我们的结果揭示了链式思维推理是一种脆弱的幻影,当它被推向超出训练分布的范围时就会消失。这项工作提供了对链式思维推理失败的原因和时机的更深入理解,强调了实现真正且可推广推理的持续挑战。 ……我们的发现表明,链式思维推理在应用于分布内或接近分布内的数据时效果显著,但在适度的分布变化下变得脆弱且容易失败。在某些情况下,大型语言模型生成流畅但逻辑不一致的推理步骤。结果表明,看似结构化的推理可能是一种幻影,源于训练数据中记忆或插值的模式,而非逻辑推理。 ……综合这些发现表明,大型语言模型并不是原则性的推理者,而是推理类文本的复杂模拟器。
2508.01191v2.pdf
43.9K