Vibe Minecraft: en självkonsistent världsmodell för flera spelare i realtid som gör det möjligt att bygga vad som helst och trolla fram vilka föremål som helst. Verktygens funktion och till och med själva spelmekaniken kan programmeras med hjälp av naturligt språk, till exempel "kronohacka: återställ ett block till ett tidigare tillstånd i tiden" och "vattenfall förvandlas till regnbågsbro när enhörningar passerar". Spelare definierar och manipulerar kollektivt en delad värld. Den neurala simmen tar som indata en *multimodal* systemprompt: spelregler, tillgångs-pngs, en global karta och påskägg. Den sparar med jämna mellanrum speltillstånd som en sekvens av latenta vektorer som kan laddas tillbaka i sitt sammanhang, eventuellt med överlagrade "vägledningstexter" för att möjliggöra enkel redigering. Varje spelare har sin egen explicita statistik json (hälsa, inventering, 3D-koordinat) samt implicita "spelarvektorer" som samlar in interaktionshistorik av högre ordning. Speladministratörer kan skapa ett Minecraft-multiversum eftersom de latenta är kompatibla från olika servrar. Varje värld kan sömlöst korsas med en annan för att skapa nya världar på några sekunder. Människor kan mixa och matcha med sina vänners eller sina egna tidigare tillstånd. "Sällsynta vektorer" kan uppstå eftersom vissa spelare oundvikligen skulle vandra in i den bisarra, outforskade latenta rymden i världsmodellen. Dessa floatmatriser kan handlas som NFT:er. Ju vildare saker du provar, desto mer sannolikt är det att du bryter sällsynta vektorer. Den som skickar Vibe Minecraft först kommer att gå till historien som att ha förändrat spelandet för alltid.

Skulle älska att se FSD Scaling Law, eftersom det är det enda svänghjulet för fysiska data på planetskala. Vad är tröskeln för "framväxande förmåga" för modell-/datastorlek?

Detta är spelmotor 2.0. En dag kommer all komplexitet i UE5 att absorberas av en datadriven klump av uppmärksamhetsvikter. Dessa vikter tar som indata spelkontrollkommandon och animerar direkt en bit pixlar i rumtiden. Agrim och jag var nära vänner och medförfattare på Stanford Vision Lab. Så kul att se honom i framkanten av så häftig forskning! Grattis!

Inget em-streck bör bakas in i förträning, efter träning, justering, systemprompt och varje skrymsle och vrå i en LLM:s livscykel. Den måste vara hårdkodad i modellens kärna, identitet och själva vara.

Jag observerar en mini-Moravecs paradox inom robotik: gymnastik som är svår för människor är mycket lättare för robotar än "osexiga" uppgifter som matlagning, städning och montering. Det leder till en kognitiv dissonans för människor utanför fältet, "så, robotar kan parkour och breakdance, men varför kan de inte ta hand om min hund?" Tro mig, jag fick frågan av mina föräldrar om detta mer än du tror ... "Robot Moravecs paradox" skapar också en illusion av att fysiska AI-funktioner är mycket mer avancerade än de egentligen är. Jag pekar inte ut Unitree, eftersom det gäller i stor utsträckning för alla de senaste akrobatiska demos i branschen. Här är ett enkelt test: om du sätter upp en vägg framför den sidovändande roboten kommer den att smälla in i den med full kraft och göra ett spektakel. För det är bara att överanpassa den där enda referensrörelsen, utan någon medvetenhet om omgivningen. Här är varför paradoxen finns: det är mycket lättare att träna en "blind gymnast" än en robot som ser och manipulerar. Det förstnämnda kan lösas helt i simulering och överföras nollskott till den verkliga världen, medan det senare kräver extremt realistisk rendering, kontaktfysik och rörig objektdynamik i den verkliga världen - varav ingen kan simuleras bra. Föreställ dig att du kan träna LLM:er inte från internet, utan från ett rent handgjort textkonsolspel. Robotikerna hade tur. Vi råkar leva i en värld där accelererade fysikmotorer är så bra att vi kan komma undan med imponerande akrobatik med bokstavligen noll verkliga data. Men vi har ännu inte upptäckt samma fuskkod för allmän fingerfärdighet. Tills dess kommer vi fortfarande att bli ifrågasatta av våra förvirrade föräldrar.

Min bar för AGI är mycket enklare: en AI som lagar en trevlig middag hemma hos någon för vilket kök som helst. Det fysiska Turingtestet är med stor sannolikhet svårare än Nobelpriset. Moravecs paradox kommer att fortsätta att förfölja oss, torna upp sig större och mörkare under det kommande decenniet.

Jag har varit lite tyst om X den senaste tiden. Det senaste året har varit en omvälvande upplevelse. Grok-4 och Kimi K2 är fantastiska, men robotikens värld är en underbar vilda västern. Det känns som NLP 2018 när GPT-1 publicerades, tillsammans med BERT och tusen andra blommor som blommade. Ingen visste vilken som så småningom skulle bli ChatGPT. Debatterna gick heta. Entropin var skyhög. Idéerna var vansinnigt roliga. Jag tror att robotikens GPT-1 redan finns någonstans på Arxiv, men vi vet inte exakt vilken. Kan vara världsmodeller, RL, lära sig av mänsklig video, sim2real, real2sim, etc. etc, eller någon kombination av dem. Debatterna går heta. Entropin är skyhög. Idéer är vansinnigt roliga, istället för att pressa de sista procenten på AIME & GPQA. Robotikens natur komplicerar också i hög grad designutrymmet. Till skillnad från den rena världen av bitar för LLM:er (textsträngar) måste vi robotiker hantera den röriga världen av atomer. Det finns trots allt en klump mjukvarudefinierad metall i loopen. LLM-normies kan ha svårt att tro, men än så länge kan robotiker fortfarande inte komma överens om ett riktmärke! Olika robotar har olika förmågor - vissa är bättre på akrobatik medan andra är på att manipulera föremål. Vissa är avsedda för industriellt bruk medan andra är för hushållsuppgifter. Cross-embodiment är inte bara en forskningsnyhet, utan en viktig funktion för en universell robothjärna. Jag har pratat med dussintals C-suite-leads från olika robotföretag, gamla som nya. En del säljer hela kroppen. Vissa säljer kroppsdelar som fingerfärdiga händer. Många fler andra säljer spadarna för att tillverka nya kroppar, skapa simuleringar eller samla in enorma mängder data. Affärsidéområdet är lika vilt som forskningen själv. Det är en ny guldrush, vars like vi inte har sett sedan ChatGPT-vågen 2022. Den bästa tiden att gå in är när icke-konsensus är som högst. Vi är fortfarande i början av en förlustkurva - det finns starka tecken på liv, men långt, långt borta från konvergens. Varje steg i gradienten tar oss in i det okända. Men en sak vet jag säkert - det finns ingen AGI utan att beröra, känna och förkroppsligas i den röriga världen. På ett mer personligt plan - att driva ett forskningslaboratorium kommer med en helt ny nivå av ansvar. Att ge uppdateringar direkt till VD:n för ett företag som kostar 4 biljoner dollar är, för att uttrycka det milt, både spännande och allt uppslukande av min uppmärksamhet. Borta är de dagar då jag kunde hålla koll på och dyka djupt in i varje AI-nyheter. Jag ska försöka ta mig tid att dela med mig mer av min resa.

Deltar i CVPR i Nashville! E-posta eller skicka ett DM till mig. Jag kommer att sväva runt i lokalen som brownsk rörelse. Rekrytera!

Det fysiska Turingtestet: ditt hus är en enda röra efter ett söndagshackathon. På måndagskvällen kommer du hem till ett oklanderligt vardagsrum och en middag med levande ljus. Och man kunde inte avgöra om det var en människa eller en maskin som hade varit där. Bedrägligt enkelt, vansinnigt svårt. Det är nästa polstjärna inom AI. Drömmen som håller mig vaken klockan 12 på labbet. Visionen för nästa datorplattform som automatiserar bitar av atomer istället för bitar av bitar. Tack Sequoia för att du tog emot mig på AI Ascent! Nedan följer mitt fullständiga föredrag om de första principerna för att lösa robotteknik för allmänna ändamål: hur vi tänker kring datastrategin och skalningslagarna. Jag försäkrar dig att det kommer att vara 17 minuter du inte ångrar!

En dag under nästa decennium kommer vi att ha robotar i varje hem, varje sjukhus och fabrik, som utför alla tråkiga och farliga jobb med övermänsklig fingerfärdighet. Den dagen kommer att kallas "torsdag". Inte ens Turing skulle våga drömma om vårt liv i sina vildaste drömmar.