Liệu Lập luận Chuỗi Tư duy của LLM có phải là một ảo ảnh? ... Kết quả của chúng tôi tiết lộ rằng lập luận CoT là một ảo ảnh mong manh, biến mất khi bị đẩy ra ngoài các phân phối huấn luyện. Công trình này cung cấp một hiểu biết sâu sắc hơn về lý do và thời điểm lập luận CoT thất bại, nhấn mạnh thách thức liên tục trong việc đạt được lập luận thực sự và có thể tổng quát. ... Các phát hiện của chúng tôi cho thấy lập luận CoT hoạt động hiệu quả khi áp dụng cho dữ liệu trong phân phối hoặc gần với dữ liệu trong phân phối nhưng trở nên mong manh và dễ thất bại ngay cả dưới những thay đổi phân phối vừa phải. Trong một số trường hợp, LLM tạo ra các bước lập luận trôi chảy nhưng không nhất quán về mặt logic. Kết quả cho thấy những gì có vẻ như là lập luận có cấu trúc có thể chỉ là một ảo ảnh, xuất phát từ các mẫu đã được ghi nhớ hoặc nội suy trong dữ liệu huấn luyện thay vì suy diễn logic. ... Cùng nhau, những phát hiện này gợi ý rằng LLM không phải là những người lập luận có nguyên tắc mà là những mô phỏng tinh vi của văn bản giống như lập luận.