Ist das Chain-of-Thought-Reasoning von LLMs eine Illusion? ... Unsere Ergebnisse zeigen, dass CoT-Reasoning eine fragile Illusion ist, die verschwindet, wenn sie über die Trainingsverteilungen hinaus gedrängt wird. Diese Arbeit bietet ein tieferes Verständnis dafür, warum und wann CoT-Reasoning fehlschlägt, und betont die anhaltende Herausforderung, echtes und generalisierbares Denken zu erreichen. ... Unsere Ergebnisse zeigen, dass CoT-Reasoning effektiv ist, wenn es auf Daten innerhalb der Verteilung oder nahe der Verteilung angewendet wird, aber fragil und anfällig für Fehler wird, selbst bei moderaten Verschiebungen der Verteilung. In einigen Fällen erzeugen LLMs fließende, aber logisch inkonsistente Denkprozesse. Die Ergebnisse deuten darauf hin, dass das, was wie strukturiertes Denken erscheint, eine Illusion sein kann, die aus memorierten oder interpolierten Mustern in den Trainingsdaten und nicht aus logischer Schlussfolgerung entsteht. ... Zusammen deuten diese Ergebnisse darauf hin, dass LLMs keine prinzipiellen Denker sind, sondern vielmehr ausgeklügelte Simulatoren von denkähnlichem Text.

2508.01191v2.pdf