Liệu Lập luận Chuỗi Tư duy của LLM có phải là một ảo ảnh? ... Kết quả của chúng tôi tiết lộ rằng lập luận CoT là một ảo ảnh mong manh, biến mất khi bị đẩy ra ngoài các phân phối huấn luyện. Công trình này cung cấp một hiểu biết sâu sắc hơn về lý do và thời điểm lập luận CoT thất bại, nhấn mạnh thách thức liên tục trong việc đạt được lập luận thực sự và có thể tổng quát. ... Các phát hiện của chúng tôi cho thấy lập luận CoT hoạt động hiệu quả khi áp dụng cho dữ liệu trong phân phối hoặc gần với dữ liệu trong phân phối nhưng trở nên mong manh và dễ thất bại ngay cả dưới những thay đổi phân phối vừa phải. Trong một số trường hợp, LLM tạo ra các bước lập luận trôi chảy nhưng không nhất quán về mặt logic. Kết quả cho thấy những gì có vẻ như là lập luận có cấu trúc có thể chỉ là một ảo ảnh, xuất phát từ các mẫu đã được ghi nhớ hoặc nội suy trong dữ liệu huấn luyện thay vì suy diễn logic. ... Cùng nhau, những phát hiện này gợi ý rằng LLM không phải là những người lập luận có nguyên tắc mà là những mô phỏng tinh vi của văn bản giống như lập luận.

NYTimes: Columbia và Brown sẽ công bố dữ liệu tuyển sinh và dữ liệu về chủng tộc trong thỏa thuận với Trump Phải mất một mối đe dọa tồn vong từ Trump mới khiến họ công bố dữ liệu này. Nhiều năm trước, một ủy ban giảng viên của hệ thống Đại học California đã xem xét chính loại dữ liệu này và sản xuất các biểu đồ dưới đây. Nếu bạn nhìn vào dữ liệu, bạn sẽ hiểu được bản chất khủng khiếp của hành động khẳng định (affirmative action) như đã được thực hiện ở Mỹ trong khoảng 50 năm qua. NYT: ... Columbia và Brown sẽ phải duy trì "các chính sách tuyển sinh dựa trên năng lực," theo các thỏa thuận của họ, điều này mã hóa các mục tiêu rộng hơn của chính quyền bằng ngôn ngữ có tính ràng buộc pháp lý. Các trường đại học "không được bằng bất kỳ cách nào ưu tiên bất hợp pháp các ứng viên dựa trên chủng tộc, màu da hoặc nguồn gốc quốc gia trong tuyển sinh trong toàn bộ các chương trình của mình," cả hai thỏa thuận đều tuyên bố bằng ngôn ngữ giống hệt nhau. "Không có bất kỳ hình thức nào cho việc tuyển sinh dựa trên chủng tộc sẽ được chấp nhận." ... "Bộ Tư pháp sẽ chấm dứt một hệ thống đáng xấu hổ mà trong đó chủng tộc của một người quan trọng hơn khả năng của họ," Chad Mizelle, quyền phó tổng chưởng lý, đã nói vào tháng Ba. "Mỗi trường cao đẳng và đại học nên biết rằng sự phân biệt bất hợp pháp trong tuyển sinh sẽ được điều tra và loại bỏ." Ngôn ngữ được sử dụng trong các thỏa thuận với Columbia và Brown nhấn mạnh những khẳng định gây tranh cãi về vụ án tuyển sinh của Tòa án Tối cao mà chính quyền Trump đã đưa ra từ tháng Hai. Nó khẳng định rằng quyết định này vượt ra ngoài tuyển sinh và cấm bất kỳ sự xem xét nào về chủng tộc trong đời sống đại học.

Hỗ trợ ATOM! AI mã nguồn mở là tốt! Dưới đây, một biểu đồ khác 💀. Tình hình tệ hơn nhiều so với biểu đồ này cho thấy vì hầu hết các lượt tải mô hình từ Trung Quốc có lẽ không diễn ra trên HuggingFace. Với ~50% các nhà phát triển AI ở Trung Quốc, và ~100% lượt tải của họ là các mô hình mở do các phòng thí nghiệm Trung Quốc tạo ra (Llama không cạnh tranh được, thật lòng mà nói), điểm giao đã xảy ra ở cấp độ toàn cầu.

Mỹ cần nghiêm túc hơn với các mô hình mở. Mùa hè này, sự dẫn đầu ban đầu trong việc áp dụng mô hình mở của Mỹ thông qua Llama đã bị các mô hình Trung Quốc vượt qua. Với Dự án Mô hình Mở Thực sự của Mỹ (ATOM), chúng tôi đang tìm cách xây dựng sự hỗ trợ và thể hiện sự cấp bách của vấn đề này.