Este raționamentul în lanț de gândire al LLM-urilor un miraj? ... Rezultatele noastre arată că raționamentul CoT este un miraj fragil care dispare atunci când este împins dincolo de distribuțiile de antrenament. Această lucrare oferă o înțelegere mai profundă a motivului și a momentului în care raționamentul CoT eșuează, subliniind provocarea continuă de a obține un raționament autentic și generalizabil. ... Descoperirile noastre arată că raționamentul CoT funcționează eficient atunci când este aplicat în distribuție sau în apropiere date în distribuție, dar devine fragilă și predispusă la eșec chiar și în condiții de schimbări moderate de distribuție. În unele cazuri, LLM-urile generează pași de raționament fluenți, dar inconsecvenți din punct de vedere logic. Rezultatele sugerează că ceea ce pare a fi un raționament structurat poate fi un miraj, care apare din modele memorate sau interpolate în datele de antrenament, mai degrabă decât din inferență logică. ... Împreună, aceste descoperiri sugerează că LLM-urile nu sunt raționamente principiale, ci mai degrabă simulatoare sofisticate de text asemănător raționamentului.

2508.01191v2.pdf