Apakah penalaran rantai pemikiran LLM adalah fatamorgana? ... Hasil kami mengungkapkan bahwa penalaran CoT adalah fatamorgana rapuh yang menghilang ketika didorong melampaui distribusi pelatihan. Karya ini menawarkan pemahaman yang lebih dalam tentang mengapa dan kapan penalaran CoT gagal, menekankan tantangan berkelanjutan untuk mencapai penalaran yang asli dan dapat digeneralisasi. ... Temuan kami mengungkapkan bahwa penalaran CoT bekerja secara efektif ketika diterapkan pada distribusi dalam atau dekat data dalam distribusi tetapi menjadi rapuh dan rentan terhadap kegagalan bahkan di bawah pergeseran distribusi sedang. Dalam beberapa kasus, LLM menghasilkan langkah-langkah penalaran yang lancar namun tidak konsisten secara logis. Hasilnya menunjukkan bahwa apa yang tampak sebagai penalaran terstruktur dapat menjadi fatamorgana, muncul dari pola yang dihafal atau diinterpolasi dalam data pelatihan daripada kesimpulan logis. ... Bersama-sama, temuan ini menunjukkan bahwa LLM bukanlah penalaran yang berprinsip melainkan simulator teks seperti penalaran yang canggih.

2508.01191v2.pdf