Vibe Minecraft: un model de lume multi-player, auto-consistent, în timp real, care permite construirea de orice și conjurarea oricăror obiecte. Funcția instrumentelor și chiar mecanica jocului în sine pot fi programate prin limbaj natural, cum ar fi "crono-târnăcop: readuceți orice bloc la o stare anterioară în timp" și "cascadele se transformă în pod curcubeu când trec unicornii". Jucătorii definesc și manipulează colectiv o lume comună. Simulatorul neuronal ia ca intrare un prompt de sistem *multimodal*: reguli de joc, png de active, o hartă globală și ouă de Paște. Salvează periodic stările jocului ca o secvență de vectori latenți care pot fi încărcați înapoi în context, opțional cu "texte de îndrumare" intercalate pentru a permite editarea ușoară. Fiecare jucător are propria statistică explicită json (sănătate, inventar, coordonate 3D), precum și "vectori de jucător" impliciti care surprind istoricul interacțiunilor de ordin superior. Administratorii jocului pot crea un multivers Minecraft, deoarece latenții sunt compatibili de pe servere diferite. Fiecare lume se poate intersecta fără probleme cu alta pentru a genera lumi noi în câteva secunde. Oamenii pot amesteca și potrivi cu prietenii lor sau cu propriile stări trecute. "Vectori rari" pot apărea pe măsură ce unii jucători ar rătăci inevitabil în spațiul latent bizar și neexplorat al modelului lumii. Aceste matrice float pot fi tranzacționate ca NFT-uri. Cu cât încercați lucruri mai sălbatice, cu atât este mai probabil să extrageți vectori rari. Oricine lansează primul Vibe Minecraft va rămâne în istorie ca modificând cursul jocurilor pentru totdeauna.

Mi-ar plăcea să văd Legea de scalare FSD, deoarece este singurul volant de date fizice la scară planetară. Care este "pragul de abilitate emergentă" pentru dimensiunea modelului/datelor?

Acesta este motorul de joc 2.0. Într-o zi, toată complexitatea UE5 va fi absorbită de o pată de greutăți de atenție bazate pe date. Aceste greutăți iau ca comenzi de intrare ale controlerului de joc și animă direct o bucată de pixeli spațiu-timp. Agrim și cu mine am fost prieteni apropiați și coautori la Stanford Vision Lab. Atât de minunat să-l văd la granița unei cercetări atât de interesante! Congrats!

Nicio liniuță nu ar trebui să fie inclusă în pre-antrenament, post-antrenament, aliniere, prompt de sistem și fiecare colț din ciclul de viață al unui LLM. Trebuie să fie conectat la nucleu, identitate și însăși ființa modelului.

Observ un mini paradox al lui Moravec în robotică: gimnastica care este dificilă pentru oameni este mult mai ușoară pentru roboți decât sarcinile "nesexy" precum gătitul, curățenia și asamblarea. Duce la o disonanță cognitivă pentru oamenii din afara domeniului, "deci, roboții pot face parkour și breakdance, dar de ce nu pot avea grijă de câinele meu?" Credeți-mă, am fost întrebat de părinții mei despre asta mai mult decât credeți ... "Paradoxul robotului Moravec" creează, de asemenea, iluzia că capacitățile fizice ale IA sunt mult mai avansate decât sunt în realitate. Nu evidențiez Unitree, deoarece se aplică pe scară largă tuturor demonstrațiilor acrobatice recente din industrie. Iată un test simplu: dacă instalați un perete în fața robotului care se întoarce lateral, acesta se va izbi de el cu toată forța și va face un spectacol. Pentru că este doar supraajustarea acelei singure mișcări de referință, fără nicio conștientizare a împrejurimilor. Iată de ce există paradoxul: este mult mai ușor să antrenezi o "gimnastă oarbă" decât un robot care vede și manipulează. Prima poate fi rezolvată în întregime în simulare și transferată în lumea reală, în timp ce cea de-a doua necesită o redare extrem de realistă, fizică de contact și dinamică dezordonată a obiectelor din lumea reală - niciuna dintre acestea nu poate fi simulată bine. Imaginați-vă că puteți antrena LLM-uri nu de pe internet, ci dintr-un joc de consolă text pur manual. Roboticienii au avut noroc. Se întâmplă să trăim într-o lume în care motoarele fizice accelerate sunt atât de bune încât putem scăpa cu acrobații impresionante folosind literalmente zero date reale. Dar nu am descoperit încă același cod de trișare pentru dexteritate generală. Până atunci, vom fi în continuare interogați de părinții noștri confuzi.

Barul meu pentru AGI este mult mai simplu: un AI care gătește o cină bună acasă la oricine pentru orice bucătărie. Testul Turing fizic este foarte probabil mai greu decât Premiul Nobel. Paradoxul lui Moravec va continua să ne bântuie, se profilează mai mare și mai întunecat, în deceniul următor.

Am fost puțin tăcut pe X în ultima vreme. Anul trecut a fost o experiență transformațională. Grok-4 și Kimi K2 sunt minunate, dar lumea roboticii este un minunat vest sălbatic. Se simte ca NLP în 2018 când a fost publicat GPT-1, împreună cu BERT și o mie de alte flori care au înflorit. Nimeni nu știa care dintre ele va deveni în cele din urmă ChatGPT. Dezbaterile au fost aprinse. Entropia era foarte mare. Ideile erau nebunește de distractive. Cred că GPT-1 al roboticii este deja undeva pe Arxiv, dar nu știm exact care. Ar putea fi modele mondiale, RL, învățarea din video uman, sim2real, real2sim, etc. etc, sau orice combinație a acestora. Dezbaterile sunt aprinse. Entropia este foarte mare. Ideile sunt incredibil de distractive, în loc să stoarcă ultimele câteva procente pe AIME și GPQA. Natura roboticii complică foarte mult spațiul de proiectare. Spre deosebire de lumea curată a biților pentru LLM-uri (șiruri de text), noi, roboticienii, trebuie să ne ocupăm de lumea dezordonată a atomilor. La urma urmei, există o bucată de metal definit de software în buclă. Normalii LLM ar putea fi greu de crezut, dar până acum roboticienii încă nu se pot pune de acord asupra unui punct de referință! Diferiți roboți au capabilități diferite - unii sunt mai buni la acrobație, în timp ce alții la manipularea obiectelor. Unele sunt destinate uzului industrial, în timp ce altele sunt pentru sarcini casnice. Întruchiparea încrucișată nu este doar o noutate de cercetare, ci o caracteristică esențială pentru un creier robot universal. Am vorbit cu zeci de lideri de la diverse companii de roboți, vechi și noi. Unii vând întregul corp. Unii vând părți ale corpului, cum ar fi mâinile îndemânatice. Mulți alții vând lopețile pentru a fabrica corpuri noi, pentru a crea simulări sau pentru a colecta comori masive de date. Spațiul ideilor de afaceri este la fel de sălbatic ca cercetarea în sine. Este o nouă goană după aur, cum nu am mai văzut de la valul ChatGPT din 2022. Cel mai bun moment pentru a intra este atunci când lipsa de consens atinge vârful. Suntem încă la începutul unei curbe de pierdere - există semne puternice de viață, dar foarte, departe de convergență. Fiecare pas de gradient ne duce în necunoscut. Dar un lucru știu sigur - nu există AGI fără atingere, simțire și întrupare în lumea dezordonată. Într-o notă mai personală - conducerea unui laborator de cercetare vine cu un nivel cu totul nou de responsabilitate. A oferi actualizări direct CEO-ului unei companii de 4 trilioane de dolari este, ca să spunem ușor, atât palpitant, cât și consumatoare de greutatea atenției mele. S-au dus zilele în care puteam să fiu la curent și să mă scufund adânc în fiecare știre AI. Voi încerca să-mi fac timp pentru a împărtăși mai mult din călătoria mea.

Participarea la CVPR la Nashville! Trimiteți-mi un e-mail sau un DM. Voi pluti în jurul locației ca o mișcare browniană. Recrutare!

Testul Turing fizic: casa ta este o mizerie completă după un hackathon de duminică. Luni seara, ajungi acasă într-o cameră de zi imaculată și la o cină la lumina lumânărilor. Și nu puteai spune dacă un om sau o mașină fusese acolo. Înșelător de simplu, nebunește de greu. Este următoarea stea polară a AI. Visul care mă ține treaz la 12 dimineața la laborator. Viziunea pentru următoarea platformă de calcul care automatizează bucăți de atomi în loc de bucăți de biți. Mulțumesc Sequoia pentru că m-a găzduit la AI Ascent! Mai jos este discursul meu complet despre primele principii pentru a rezolva robotica de uz general: cum ne gândim la strategia de date și la legile de scalare. Vă asigur că vor fi 17 minute pe care nu le regretați!

Într-o zi din următorul deceniu, vom avea roboți în fiecare casă, fiecare spital și fabrică, făcând toate sarcinile plictisitoare și periculoase cu dexteritate supraomenească. Acea zi va fi cunoscută sub numele de "joi". Nici măcar Turing nu ar îndrăzni să viseze la viața noastră în cele mai îndrăznețe vise ale sale.