Vibe Minecraft: een multiplayer, zelfconsistente, real-time wereldmodel dat het bouwen van alles en het oproepen van objecten mogelijk maakt. De functie van gereedschappen en zelfs de spelmechanica zelf kan worden geprogrammeerd met natuurlijke taal, zoals "chrono-pickaxe: keer elk blok terug naar een eerdere staat in de tijd" en "watervallen veranderen in een regenboogbrug wanneer eenhoorns voorbij komen". Spelers definiëren en manipuleren gezamenlijk een gedeelde wereld. De neurale simulatie neemt als invoer een *multimodaal* systeemprompt: spelregels, asset png's, een wereldkaart en easter eggs. Het slaat periodiek speltoestanden op als een reeks latente vectoren die weer in context kunnen worden geladen, optioneel met ingemengde "leidende teksten" om eenvoudig te kunnen bewerken. Elke gamer heeft zijn eigen expliciete stat json (gezondheid, inventaris, 3D-coördinaat) evenals impliciete "speler vectoren" die de geschiedenis van hogere-orde interacties vastleggen. Gamebeheerders kunnen een Minecraft multiversum creëren omdat de latente vectoren compatibel zijn van verschillende servers. Elke wereld kan naadloos met een andere kruisen om in enkele seconden nieuwe werelden te creëren. Mensen kunnen mixen en matchen met de vorige staten van hun vrienden of hun eigen staten. "Zeldzame vectoren" kunnen ontstaan omdat sommige spelers onvermijdelijk in de bizarre, onontdekte latente ruimte van het wereldmodel zouden dwalen. Die zwevende matrices kunnen worden verhandeld als NFT's. Hoe wilder de dingen die je probeert, hoe waarschijnlijker het is dat je zeldzame vectoren zult delven. Wie Vibe Minecraft als eerste lanceert, zal de geschiedenis ingaan als degene die de loop van het gamen voor altijd heeft veranderd.

Ik zou graag de FSD Scaling Law willen zien, aangezien het de enige fysieke data flywheel op planetair niveau is. Wat is de "emergent ability threshold" voor model/data grootte?

Dit is game engine 2.0. Op een dag zal alle complexiteit van UE5 worden opgenomen door een data-gedreven blob van aandachtgewichten. Die gewichten nemen gamecontrollercommando's als invoer en animeren direct een ruimtetijdchunk van pixels. Agrim en ik waren goede vrienden en co-auteurs in het Stanford Vision Lab. Geweldig om hem te zien aan de voorhoede van zo'n gaaf onderzoek! Gefeliciteerd!

Er mag geen em dash ingebakken zijn in de pretraining, post-training, afstemming, systeemprompt en elke hoek en gaatje in de levenscyclus van een LLM. Het moet hardwired zijn in de kernel, identiteit en het wezen van het model.

Ik observeer een mini-Moravec-paradox binnen de robotica: gymnastiek die moeilijk is voor mensen, is veel gemakkelijker voor robots dan "niet-sexy" taken zoals koken, schoonmaken en in elkaar zetten. Het leidt tot een cognitieve dissonantie voor mensen buiten het veld, "dus robots kunnen parkour en breakdancen, maar waarom kunnen ze niet voor mijn hond zorgen?" Geloof me, ik werd hier meer naar gevraagd door mijn ouders dan je denkt ... De "paradox van Robot Moravec" wekt ook de illusie dat fysieke AI-mogelijkheden veel geavanceerder zijn dan ze in werkelijkheid zijn. Ik noem Unitree niet, omdat het algemeen van toepassing is op alle recente acrobatische demo's in de industrie. Hier is een eenvoudige test: als je een muur voor de zijwaartse robot opzet, zal hij er met volle kracht tegenaan botsen en een spektakel maken. Omdat het gewoon die ene referentiebeweging overdrijft, zonder enig besef van de omgeving. Dit is waarom de paradox bestaat: het is veel gemakkelijker om een "blinde turnster" te trainen dan een robot die ziet en manipuleert. De eerste kan volledig in simulatie worden opgelost en zero-shot worden overgebracht naar de echte wereld, terwijl de laatste extreem realistische weergave, contactfysica en rommelige objectdynamiek in de echte wereld vereist - die geen van alle goed kunnen worden gesimuleerd. Stel je voor dat je LLM's niet via internet kunt trainen, maar vanuit een puur met de hand gemaakt tekstconsolespel. Robotici hebben geluk gehad. We leven toevallig in een wereld waar versnelde fysica-engines zo goed zijn dat we weg kunnen komen met indrukwekkende acrobatiek met letterlijk nul echte gegevens. Maar we hebben nog niet dezelfde cheatcode voor algemene behendigheid ontdekt. Tot die tijd worden we nog steeds ondervraagd door onze verwarde ouders.

Mijn bar voor AGI is veel eenvoudiger: een AI die een lekker diner kookt bij iedereen thuis voor elke keuken. De fysieke Turingtest is zeer waarschijnlijk moeilijker dan de Nobelprijs. De paradox van Moravec zal ons het komende decennium blijven achtervolgen, groter en donkerder opdoemen.

Ik ben de laatste tijd een beetje stil geweest op X. Het afgelopen jaar was een transformerende ervaring. Grok-4 en Kimi K2 zijn geweldig, maar de wereld van robotica is een wonderbaarlijk wilde westen. Het voelt als NLP in 2018 toen GPT-1 werd gepubliceerd, samen met BERT en duizend andere bloemen die bloeiden. Niemand wist wie uiteindelijk ChatGPT zou worden. De debatten waren verhit. Entropie was torenhoog. Ideeën waren waanzinnig leuk. Ik geloof dat de GPT-1 van de robotica al ergens op Arxiv staat, maar we weten niet precies welke. Het kunnen wereldmodellen zijn, RL, leren van menselijke video, sim2real, real2sim, enz. enz., of een combinatie daarvan. De debatten zijn verhit. Entropie is torenhoog. Ideeën zijn waanzinnig leuk, in plaats van de laatste paar % op AIME en GPQA te persen. De aard van robotica maakt de ontwerpruimte ook enorm ingewikkeld. In tegenstelling tot de schone wereld van bits voor LLM's (tekstreeksen), hebben wij robotici te maken met de rommelige wereld van atomen. Er zit tenslotte een brok softwaregedefinieerd metaal in de lus. LLM-normici vinden het misschien moeilijk te geloven, maar tot nu toe kunnen robotici het nog steeds niet eens worden over een benchmark! Verschillende robots hebben verschillende capaciteitsenveloppen - sommige zijn beter in acrobatiek, terwijl andere in objectmanipulatie zijn. Sommige zijn bedoeld voor industrieel gebruik, terwijl andere voor huishoudelijke taken zijn. Cross-embodiment is niet alleen een nieuwigheid op het gebied van onderzoek, maar een essentieel kenmerk voor een universeel robotbrein. Ik heb met tientallen C-suite leads gesproken van verschillende robotbedrijven, oud en nieuw. Sommigen verkopen het hele lichaam. Sommigen verkopen lichaamsdelen zoals behendige handen. Veel meer anderen verkopen de schoppen om nieuwe lichamen te vervaardigen, simulaties te maken of enorme hoeveelheden gegevens te verzamelen. De ruimte voor bedrijfsideeën is net zo wild als het onderzoek zelf. Het is een nieuwe goudkoorts, zoals we die sinds de ChatGPT-golf van 2022 niet meer hebben gezien. De beste tijd om mee te doen is wanneer de niet-consensus piekt. We staan nog steeds aan het begin van een verliescurve - er zijn sterke tekenen van leven, maar ver, ver weg van convergentie. Elke gradiëntstap brengt ons naar het onbekende. Maar één ding weet ik zeker: er is geen AGI zonder aan te raken, te voelen en belichaamd te worden in de rommelige wereld. Op een meer persoonlijke noot: het runnen van een onderzoekslaboratorium brengt een geheel nieuw niveau van verantwoordelijkheid met zich mee. Updates rechtstreeks geven aan de CEO van een bedrijf van $ 4 biljoen is, op zijn zachtst gezegd, zowel opwindend als allesverslindend van mijn aandachtsgewichten. Voorbij zijn de dagen dat ik op de hoogte kon blijven van en diep in al het AI-nieuws kon duiken. Ik zal proberen tijd vrij te maken om meer van mijn reis te delen.

CVPR bijwonen in Nashville! E-mail of DM me. Ik zweef door de zaal als een Brownse beweging. Werven!

De fysieke Turing-test: je huis is een complete puinhoop na een zondagse hackathon. Op maandagavond kom je thuis in een smetteloze woonkamer en een diner bij kaarslicht. En je kon niet zeggen of er een mens of een machine was geweest. Bedrieglijk eenvoudig, waanzinnig moeilijk. Het is de volgende Poolster van AI. De droom die me om 12 uur 's ochtends wakker houdt in het lab. De visie voor het volgende computerplatform dat brokken atomen automatiseert in plaats van brokken bits. Bedankt Sequoia voor het hosten van mij bij AI Ascent! Hieronder vindt u mijn volledige lezing over de eerste principes om robotica voor algemeen gebruik op te lossen: hoe we denken over de datastrategie en schaalwetten. Ik verzeker je dat het 17 minuten zal zijn waar je geen spijt van krijgt!

Op een dag in het komende decennium zullen we robots hebben in elk huis, elk ziekenhuis en elke fabriek, die elk saai en gevaarlijk werk met bovenmenselijke behendigheid doen. Die dag zal bekend staan als "donderdag". Zelfs Turing zou ons leven niet durven dromen in zijn stoutste dromen.