Vibe Minecraft: wieloosobowy, spójny model świata w czasie rzeczywistym, który pozwala na budowanie czegokolwiek i przywoływanie dowolnych obiektów. Funkcje narzędzi, a nawet same mechaniki gry mogą być programowane w języku naturalnym, takim jak "chrono-pickaxe: przywróć dowolny blok do poprzedniego stanu w czasie" oraz "wodospady zamieniają się w tęczowy most, gdy przechodzą obok jednorożce". Gracze wspólnie definiują i manipulują współdzielonym światem. Neural sim przyjmuje jako wejście *multimodalny* systemowy prompt: zasady gry, assety png, globalną mapę i easter eggi. Okresowo zapisuje stany gry jako sekwencję wektorów latentnych, które można załadować z powrotem do kontekstu, opcjonalnie z przeplatanymi "tekstami przewodnimi", aby umożliwić łatwą edycję. Każdy gracz ma swój własny jawny stat json (zdrowie, ekwipunek, współrzędne 3D) oraz niejawne "wektory gracza", które uchwycają historię interakcji wyższego rzędu. Administratorzy gry mogą stworzyć multiversum Minecraft, ponieważ latenty są kompatybilne z różnych serwerów. Każdy świat może płynnie łączyć się z innym, aby w kilka sekund tworzyć nowe światy. Ludzie mogą łączyć i dopasowywać ze stanami swoich przyjaciół lub swoimi własnymi przeszłymi stanami. "Rzadkie wektory" mogą się pojawić, gdy niektórzy gracze nieuchronnie wędrują w dziwną, nieznaną przestrzeń latentną modelu świata. Te macierze unoszące się mogą być wymieniane jako NFT. Im bardziej szalone rzeczy próbujesz, tym bardziej prawdopodobne, że wydobędziesz rzadkie wektory. Kto pierwszy wyśle Vibe Minecraft, przejdzie do historii jako ten, który na zawsze zmienił bieg gier.

Chciałbym zobaczyć Prawo Skalowania FSD, ponieważ jest to jedyny fizyczny mechanizm danych na skalę planetarną. Jaki jest "próg zdolności emergentnej" dla rozmiaru modelu/danych?

To jest silnik gry 2.0. Pewnego dnia cała złożoność UE5 zostanie wchłonięta przez napędzany danymi blob wag uwagi. Te wagi przyjmują jako wejście polecenia kontrolera gry i bezpośrednio animują kawałek pikseli w czasoprzestrzeni. Agrim i ja byliśmy bliskimi przyjaciółmi i współautorami w Stanford Vision Lab. Tak wspaniale go zobaczyć na czołowej pozycji w tak fajnych badaniach! Gratulacje!

Żaden em dash nie powinien być wbudowany w pretrening, post-trening, dostosowanie, systemowy prompt i każdy zakamarek w cyklu życia LLM. Musi być twardo zakodowany w jądrze, tożsamości i samej istocie modelu.

Obserwuję mini paradoks Moraveca w robotyce: gimnastyka, która jest trudna dla ludzi, jest znacznie łatwiejsza dla robotów niż "nudne" zadania, takie jak gotowanie, sprzątanie i montaż. Prowadzi to do dysonansu poznawczego dla osób spoza branży: "więc roboty mogą uprawiać parkour i breakdance, ale dlaczego nie mogą zająć się moim psem?" Uwierz mi, moi rodzice pytali mnie o to więcej, niż myślisz ... "Paradoks Moraveca robotów" tworzy również iluzję, że fizyczne możliwości AI są znacznie bardziej zaawansowane, niż są w rzeczywistości. Nie wskazuję na Unitree, ponieważ dotyczy to szeroko wszystkich ostatnich akrobatycznych pokazów w branży. Oto prosty test: jeśli ustawisz ścianę przed robotem wykonującym salto, uderzy w nią z pełną siłą i stworzy widowisko. Ponieważ po prostu nadmiernie dopasowuje ten pojedynczy ruch referencyjny, nie mając żadnej świadomości otoczenia. Oto dlaczego ten paradoks istnieje: znacznie łatwiej jest wytrenować "ślepą gimnastyczkę" niż robota, który widzi i manipuluje. Pierwszy problem można całkowicie rozwiązać w symulacji i przenieść bez żadnych prób do rzeczywistego świata, podczas gdy drugi wymaga niezwykle realistycznego renderowania, fizyki kontaktu i chaotycznej dynamiki obiektów w rzeczywistości - żadna z tych rzeczy nie może być dobrze symulowana. Wyobraź sobie, że możesz trenować LLM-y nie z internetu, ale z czysto ręcznie stworzonym tekstowym konsolowym grą. Robotycy mieli szczęście. Żyjemy w świecie, w którym przyspieszone silniki fizyczne są tak dobre, że możemy osiągnąć imponującą akrobatykę, używając dosłownie zerowych danych rzeczywistych. Ale jeszcze nie odkryliśmy tego samego kodu oszustwa dla ogólnej zręczności. Do tego czasu nadal będziemy pytani przez naszych zdezorientowanych rodziców.

Mój pasek dla AGI jest o wiele prostszy: sztuczna inteligencja gotuje smaczny obiad w czyimś domu dla każdej kuchni. Fizyczny test Turinga jest najprawdopodobniej trudniejszy niż Nagroda Nobla. Paradoks Moraveca będzie nas prześladował jeszcze przez nadchodzącą dekadę, stając się coraz większy i mroczniejszy.

Ostatnio trochę milczałem na temat X. Miniony rok był doświadczeniem transformacyjnym. Grok-4 i Kimi K2 są niesamowite, ale świat robotyki to cudowny dziki zachód. Czuje się jak NLP w 2018 roku, kiedy opublikowano GPT-1, wraz z i tysiącem innych kwitnących kwiatów. Nikt nie wiedział, który z nich ostatecznie stanie się ChatGPT. Dyskusja była gorąca. Entropia była niebotycznie wysoka. Pomysły były szalenie zabawne. Uważam, że GPT-1 robotyki jest już gdzieś na Arxiv, ale nie wiemy dokładnie, który. Mogą to być modele świata, RL, uczenie się z ludzkiego wideo, sim2real, real2sim itp. itp., lub dowolna ich kombinacja. Debaty są gorące. Entropia jest niebotycznie wysoka. Pomysły są szalenie zabawne, zamiast wyciskać ostatnie kilka % na AIME i GPQA. Charakter robotyki również znacznie komplikuje przestrzeń projektową. W przeciwieństwie do czystego świata bitów dla LLM (ciągów tekstowych), my, robotycy, musimy radzić sobie z niechlujnym światem atomów. W końcu w pętli znajduje się bryła metalu zdefiniowanego programowo. Normatywnym LLM może być trudno w to uwierzyć, ale jak dotąd robotycy nadal nie mogą się zgodzić co do punktu odniesienia! Różne roboty mają różne obwiednie możliwości - niektóre są lepsze w akrobatyce, podczas gdy inne w manipulowaniu obiektami. Niektóre są przeznaczone do użytku przemysłowego, podczas gdy inne do prac domowych. Ucieleśnienie krzyżowe to nie tylko nowinka badawcza, ale także istotna cecha uniwersalnego mózgu robota. Rozmawiałem z dziesiątkami menedżerów najwyższego szczebla z różnych firm zajmujących się robotami, starych i nowych. Niektórzy sprzedają całe ciało. Niektórzy sprzedają części ciała, takie jak zręczne dłonie. Wielu innych sprzedaje łopaty, aby produkować nowe ciała, tworzyć symulacje lub zbierać ogromne ilości danych. Przestrzeń pomysłów na biznes jest równie dzika jak same badania. To nowa gorączka złota, jakiej nie widzieliśmy od fali ChatGPT w 2022 roku. Najlepszym momentem na wejście jest moment, w którym brak konsensusu osiąga szczyt. Wciąż jesteśmy na początku krzywej strat - są silne oznaki życia, ale daleko, bardzo daleko od konwergencji. Każdy gradientowy krok przenosi nas w nieznane. Ale jedno wiem na pewno - nie ma AGI bez dotykania, czucia i wcielania się w ten bałagan w świecie. Z bardziej osobistego punktu widzenia - prowadzenie laboratorium badawczego wiąże się z zupełnie nowym poziomem odpowiedzialności. Przekazywanie aktualnych informacji bezpośrednio dyrektorowi generalnemu firmy o wartości 4 bilionów dolarów jest, delikatnie mówiąc, zarówno ekscytujące, jak i pochłaniające całą moją uwagę. Dawno minęły czasy, kiedy mogłem być na bieżąco i zagłębiać się w każdą wiadomość o sztucznej inteligencji. Postaram się wygospodarować czas, aby podzielić się większą ilością mojej podróży.

Uczestnictwo w CVPR w Nashville! Wyślij mi e-mail lub wiadomość prywatną. Będę unosił się po miejscu jak ruch Browna. Rekrutacji!

Fizyczny test Turinga: po niedzielnym hackathonie w twoim domu panuje kompletny bałagan. W poniedziałkowy wieczór wracasz do domu do nieskazitelnego salonu i kolacji przy świecach. I nie można było stwierdzić, czy był tam człowiek, czy maszyna. Zwodniczo proste, szalenie trudne. To kolejna Gwiazda Polarna AI. Sen, który nie pozwala mi zasnąć o 12 w nocy w laboratorium. Wizja kolejnej platformy obliczeniowej, która automatyzuje fragmenty atomów zamiast fragmentów bitów. Dziękuję Sequoia za goszczenie mnie na AI Ascent! Poniżej znajduje się mój pełny wykład na temat pierwszych zasad rozwiązywania problemów robotyki ogólnego przeznaczenia: jak myślimy o strategii danych i prawach skalowania. Zapewniam Cię, że będzie to 17 minut, których nie pożałujesz!

Pewnego dnia, w ciągu następnej dekady, w każdym domu, w każdym szpitalu i fabryce pojawią się roboty, które będą wykonywać każdą nudną i niebezpieczną pracę z nadludzką zręcznością. Ten dzień będzie znany jako "czwartek". Nawet Turing nie odważyłby się wymarzyć naszego życia w swoich najśmielszych snach.