🚨 本文揭示了為什麼大多數所謂的「AI 交易者」看起來聰明，直到你檢查他們的思考方式。 問題不在於模型的弱點，而在於他們所訓練的獎勵信號根本不誠實。 當你直接在市場回報上訓練 LLM 代理時，它很快會發現一個捷徑。它不是根據證據進行推理，而是記住歷史上表現良好的資產，根據這些記憶進行交易，然後隨後編造解釋。這筆交易有時會成功，因此獎勵強化了這種行為。推理從來不重要。 本文清楚地展示了這種失敗模式。一個僅基於市場的強化學習代理在 A 股市場上實現了 37.62% 的累積回報，但其推理相似度得分卻崩潰至 0.4369。更糟的是，其幻覺率上升至 22.5%。簡而言之，它是偶然獲利，並對原因不誠實。 這是典型的獎勵駭客行為。 作者的核心見解微妙但毀滅性：在金融市場等隨機環境中，結果無法驗證推理。隨機性可以使糟糕的決策看起來良好。只有決策過程本身可以被評估。 因此，他們改變了目標。不是問一筆交易是否賺錢，而是問這個決策是否在證據上有邏輯基礎。 他們引入了一個三角驗證協議，從三個維度評估每個行動：推理是否忠實於證據，決策是否邏輯上遵循推理，以及決策是否與證據直接一致。最終得分是三者的平均值，這消除了模型可以利用的任何單一捷徑。 數學解釋了為什麼這樣做有效。 他們將市場獎勵建模為 r = r* + ξ，其中 r* 是由推理證明的真實價值，ξ 是市場噪音。標準強化學習最終被 ξ 的方差主導，這使模型朝著波動性追逐而非因果關係推進。 這個啟示其實並不僅僅關於交易。 這是對任何基於噪音結果訓練的強化學習系統的警告。如果你獎勵結果而不是推理，你的模型將學會走運、說謊並稱之為智慧。 在這裡閱讀完整論文：