Vibe Minecraft: một mô hình thế giới thời gian thực, đa người chơi, tự nhất quán cho phép xây dựng bất cứ thứ gì và triệu hồi bất kỳ đối tượng nào. Chức năng của các công cụ và thậm chí cả cơ chế trò chơi có thể được lập trình bằng ngôn ngữ tự nhiên, chẳng hạn như "pickaxe thời gian: khôi phục bất kỳ khối nào về trạng thái trước đó trong thời gian" và "thác nước biến thành cầu cầu vồng khi những con kỳ lân đi qua". Người chơi cùng nhau định nghĩa và thao tác một thế giới chung. Mô phỏng thần kinh nhận đầu vào từ một prompt hệ thống *đa phương thức*: quy tắc trò chơi, tài sản png, bản đồ toàn cầu và trứng phục sinh. Nó định kỳ lưu trạng thái trò chơi dưới dạng một chuỗi vector tiềm ẩn có thể được tải lại vào ngữ cảnh, tùy chọn với các "văn bản hướng dẫn" xen kẽ để cho phép chỉnh sửa dễ dàng. Mỗi game thủ có một json trạng thái rõ ràng (sức khỏe, kho đồ, tọa độ 3D) cũng như các "vector người chơi" ngầm nắm bắt lịch sử tương tác bậc cao. Quản trị viên trò chơi có thể tạo ra một vũ trụ Minecraft vì các vector tiềm ẩn tương thích từ các máy chủ khác nhau. Mỗi thế giới có thể giao thoa liền mạch với nhau để tạo ra các thế giới mới trong vài giây. Mọi người có thể kết hợp và ghép nối với các trạng thái quá khứ của bạn bè hoặc của chính họ. "Vector hiếm" có thể xuất hiện khi một số người chơi không thể tránh khỏi việc lang thang vào không gian tiềm ẩn kỳ lạ, chưa được khám phá của mô hình thế giới. Những ma trận nổi này có thể được giao dịch như NFTs. Những điều điên rồ hơn bạn thử, khả năng cao hơn bạn sẽ khai thác được các vector hiếm. Ai gửi Vibe Minecraft đầu tiên sẽ đi vào lịch sử như là người đã thay đổi mãi mãi hướng đi của trò chơi.

Rất muốn thấy Định luật Tăng trưởng FSD, vì đây là vòng quay dữ liệu vật lý duy nhất ở quy mô hành tinh. Ngưỡng "khả năng nổi lên" cho kích thước mô hình/dữ liệu là gì?

Đây là game engine 2.0. Một ngày nào đó, tất cả sự phức tạp của UE5 sẽ được hấp thụ bởi một khối dữ liệu điều khiển chú ý. Những trọng số đó nhận đầu vào là các lệnh từ bộ điều khiển trò chơi và trực tiếp hoạt hình một khối không-thời gian của các pixel. Agrim và tôi đã là bạn thân và đồng tác giả tại Stanford Vision Lab. Thật tuyệt khi thấy anh ấy ở tuyến đầu của những nghiên cứu thú vị như vậy! Chúc mừng!

Không có dấu gạch ngang nào nên được tích hợp vào quá trình huấn luyện trước, huấn luyện sau, căn chỉnh, lời nhắc hệ thống và mọi ngóc ngách trong vòng đời của một LLM. Nó cần phải được lập trình cứng vào lõi, bản sắc và bản chất của mô hình.

Tôi đang quan sát một nghịch lý Moravec mini trong lĩnh vực robot: những động tác thể dục khó khăn đối với con người lại dễ dàng hơn nhiều đối với robot so với những nhiệm vụ "không hấp dẫn" như nấu ăn, dọn dẹp và lắp ráp. Điều này dẫn đến sự mâu thuẫn nhận thức cho những người bên ngoài lĩnh vực, "vậy, robot có thể parkour và breakdance, nhưng tại sao chúng không thể chăm sóc cho chó của tôi?" Tin tôi đi, tôi đã bị bố mẹ hỏi về điều này nhiều hơn bạn nghĩ ... Nghịch lý "Robot Moravec" cũng tạo ra ảo tưởng rằng khả năng AI vật lý tiên tiến hơn nhiều so với thực tế. Tôi không chỉ trích Unitree, vì điều này áp dụng rộng rãi cho tất cả các buổi trình diễn nhào lộn gần đây trong ngành. Đây là một bài kiểm tra đơn giản: nếu bạn đặt một bức tường trước robot lật bên, nó sẽ đâm vào đó với toàn bộ sức mạnh và tạo ra một cảnh tượng. Bởi vì nó chỉ đang quá khớp với chuyển động tham chiếu duy nhất đó, mà không có bất kỳ nhận thức nào về môi trường xung quanh. Đây là lý do tại sao nghịch lý tồn tại: việc huấn luyện một "vận động viên thể dục mù" dễ hơn nhiều so với một robot có khả năng nhìn và thao tác. Cái trước có thể được giải quyết hoàn toàn trong mô phỏng và chuyển giao không cần huấn luyện sang thế giới thực, trong khi cái sau đòi hỏi việc tái hiện cực kỳ thực tế, vật lý tiếp xúc và động lực học của các đối tượng trong thế giới thực - không có điều nào trong số đó có thể được mô phỏng tốt. Hãy tưởng tượng bạn có thể huấn luyện LLM không từ internet, mà từ một trò chơi console văn bản được tạo ra hoàn toàn bằng tay. Các nhà nghiên cứu robot đã gặp may. Chúng ta đang sống trong một thế giới mà các động cơ vật lý tăng tốc tốt đến mức chúng ta có thể thực hiện những động tác nhào lộn ấn tượng mà không cần dữ liệu thực tế. Nhưng chúng ta vẫn chưa phát hiện ra mã gian lận tương tự cho sự khéo léo tổng quát. Cho đến lúc đó, chúng ta vẫn sẽ bị bố mẹ hỏi một cách bối rối.

Tiêu chuẩn của tôi cho AGI thì đơn giản hơn nhiều: một AI nấu một bữa tối ngon tại nhà bất kỳ cho bất kỳ món ăn nào. Bài kiểm tra Turing vật lý có khả năng khó hơn cả Giải Nobel. Nghịch lý Moravec sẽ tiếp tục ám ảnh chúng ta, ngày càng lớn hơn và tối tăm hơn, trong thập kỷ tới.

Gần đây tôi đã hơi im lặng trên X. Năm qua là một trải nghiệm chuyển mình. Grok-4 và Kimi K2 thật tuyệt vời, nhưng thế giới robot là một miền tây hoang dã kỳ diệu. Nó giống như NLP vào năm 2018 khi GPT-1 được công bố, cùng với BERT và hàng ngàn bông hoa khác nở rộ. Không ai biết cái nào cuối cùng sẽ trở thành ChatGPT. Các cuộc tranh luận rất sôi nổi. Entropy thì cao ngất ngưởng. Những ý tưởng thì vô cùng thú vị. Tôi tin rằng GPT-1 của robot đã ở đâu đó trên Arxiv, nhưng chúng ta không biết chính xác cái nào. Có thể là mô hình thế giới, RL, học từ video của con người, sim2real, real2sim, v.v., hoặc bất kỳ sự kết hợp nào trong số đó. Các cuộc tranh luận rất sôi nổi. Entropy thì cao ngất ngưởng. Những ý tưởng thì vô cùng thú vị, thay vì chỉ nén lại vài % cuối cùng trên AIME & GPQA. Bản chất của robot cũng làm phức tạp không gian thiết kế. Khác với thế giới sạch sẽ của các bit cho LLMs (chuỗi văn bản), chúng tôi, những người làm robot, phải đối mặt với thế giới lộn xộn của các nguyên tử. Sau cùng, có một khối kim loại được định nghĩa bằng phần mềm trong vòng lặp. Những người bình thường về LLM có thể thấy khó tin, nhưng cho đến nay, các nhà nghiên cứu robot vẫn chưa thể đồng ý về một tiêu chuẩn! Các robot khác nhau có các khả năng khác nhau - một số thì giỏi nhào lộn trong khi những cái khác thì giỏi thao tác vật thể. Một số được thiết kế cho sử dụng công nghiệp trong khi những cái khác thì cho các công việc gia đình. Cross-embodiment không chỉ là một điều mới mẻ trong nghiên cứu, mà là một tính năng thiết yếu cho một bộ não robot toàn cầu. Tôi đã nói chuyện với hàng chục lãnh đạo C-suite từ các công ty robot khác nhau, cả cũ và mới. Một số bán toàn bộ cơ thể. Một số bán các bộ phận cơ thể như tay khéo léo. Nhiều người khác bán các công cụ để sản xuất cơ thể mới, tạo ra các mô phỏng, hoặc thu thập khối lượng dữ liệu khổng lồ. Không gian ý tưởng kinh doanh hoang dã như chính nghiên cứu. Đây là một cuộc đua vàng mới, mà chúng ta chưa thấy kể từ làn sóng ChatGPT năm 2022. Thời điểm tốt nhất để tham gia là khi sự đồng thuận đạt đỉnh. Chúng ta vẫn đang ở giai đoạn đầu của một đường cong mất mát - có những dấu hiệu mạnh mẽ của sự sống, nhưng còn rất xa mới đạt được sự hội tụ. Mỗi bước gradient đưa chúng ta vào vùng chưa biết. Nhưng một điều tôi biết chắc chắn - không có AGI mà không chạm vào, cảm nhận, và được hiện thân trong thế giới lộn xộn. Về mặt cá nhân - điều hành một phòng thí nghiệm nghiên cứu đi kèm với một mức độ trách nhiệm hoàn toàn mới. Cung cấp cập nhật trực tiếp cho CEO của một công ty trị giá 4 nghìn tỷ đô la là, nói một cách nhẹ nhàng, vừa hồi hộp vừa tiêu tốn toàn bộ sự chú ý của tôi. Những ngày mà tôi có thể theo dõi và đi sâu vào mọi tin tức AI đã qua rồi. Tôi sẽ cố gắng dành thời gian để chia sẻ nhiều hơn về hành trình của mình.

Tham dự CVPR tại Nashville! Gửi email hoặc nhắn tin cho tôi. Tôi sẽ đi quanh địa điểm như chuyển động Brownian. Tuyển dụng!

Bài kiểm tra Turing Vật lý: ngôi nhà của bạn là một mớ hỗn độn sau một buổi hackathon vào Chủ nhật. Tối thứ Hai, bạn về nhà và thấy phòng khách sạch sẽ không tì vết cùng một bữa tối dưới ánh nến. Và bạn không thể biết liệu đó là do con người hay máy móc làm. Nghe có vẻ đơn giản, nhưng thực sự rất khó. Đây là ngôi sao Bắc Đẩu tiếp theo của AI. Giấc mơ khiến tôi thức trắng lúc 12 giờ đêm trong phòng thí nghiệm. Tầm nhìn về nền tảng máy tính tiếp theo tự động hóa các phần tử vật chất thay vì các phần tử số. Cảm ơn Sequoia đã mời tôi tham dự AI Ascent! Dưới đây là toàn bộ bài nói chuyện của tôi về các nguyên tắc cơ bản để giải quyết vấn đề robot đa năng: cách chúng tôi suy nghĩ về chiến lược dữ liệu và các quy luật mở rộng. Tôi đảm bảo rằng đây sẽ là 17 phút bạn không hối tiếc!

Một ngày nào đó trong thập kỷ tới, chúng ta sẽ có robot trong mọi ngôi nhà, mọi bệnh viện và nhà máy, thực hiện mọi công việc nhàm chán và nguy hiểm với sự khéo léo siêu phàm. Ngày đó sẽ được gọi là “Thứ Năm”. Ngay cả Turing cũng không dám mơ về cuộc sống của chúng ta trong những giấc mơ hoang dã nhất của ông.