Vibe Minecraft: un modello di mondo in tempo reale, auto-consistente e multi-giocatore che consente di costruire qualsiasi cosa e evocare qualsiasi oggetto. La funzione degli strumenti e persino le meccaniche di gioco possono essere programmate tramite linguaggio naturale, come "piccone cronologico: riporta qualsiasi blocco a uno stato precedente nel tempo" e "le cascate si trasformano in un ponte arcobaleno quando i unicorni passano". I giocatori definiscono e manipolano collettivamente un mondo condiviso. Il simulatore neurale prende come input un prompt di sistema *multimodale*: regole di gioco, png degli asset, una mappa globale e uova di Pasqua. Salva periodicamente gli stati di gioco come una sequenza di vettori latenti che possono essere ricaricati nel contesto, eventualmente con "testi di guida" intercalati per consentire una facile modifica. Ogni giocatore ha il proprio stat json esplicito (salute, inventario, coordinate 3D) così come "vettori di giocatore" impliciti che catturano la storia delle interazioni di ordine superiore. Gli amministratori del gioco possono creare un multiverso di Minecraft perché i latenti sono compatibili tra diversi server. Ogni mondo può attraversare senza soluzione di continuità un altro per generare nuovi mondi in pochi secondi. Le persone possono mescolare e abbinare con gli stati passati dei loro amici o i propri. "Vettori rari" possono emergere poiché alcuni giocatori inevitabilmente vagheranno nello spazio latente bizzarro e inesplorato del modello di mondo. Quelle matrici fluttuanti possono essere scambiate come NFT. Più cose strane provi, più è probabile che tu estragga vettori rari. Chiunque lanci Vibe Minecraft per primo entrerà nella storia come colui che ha alterato il corso del gioco per sempre.

Mi piacerebbe vedere la Legge di Scalabilità FSD, poiché è l'unico volano di dati fisico su scala planetaria. Qual è la "soglia di abilità emergente" per la dimensione del modello/dati?

Questo è il motore di gioco 2.0. Un giorno, tutta la complessità di UE5 sarà assorbita da un blob di pesi di attenzione guidato dai dati. Questi pesi prendono come input i comandi del controller di gioco e animano direttamente un pezzo di spazio-tempo di pixel. Agrim e io eravamo amici stretti e coautori al Stanford Vision Lab. È fantastico vederlo alla frontiera di una ricerca così interessante! Congratulazioni!

Nessun em dash dovrebbe essere incorporato nel pre-addestramento, post-addestramento, allineamento, prompt di sistema e in ogni angolo e fessura del ciclo di vita di un LLM. Deve essere hardwired nel kernel, nell'identità e nell'essenza stessa del modello.

Sto osservando un mini paradosso di Moravec nella robotica: le ginnastiche che sono difficili per gli esseri umani sono molto più facili per i robot rispetto a compiti "non sexy" come cucinare, pulire e assemblare. Questo porta a una dissonanza cognitiva per le persone al di fuori del settore, "quindi, i robot possono fare parkour e breakdance, ma perché non possono prendersi cura del mio cane?" Fidati, i miei genitori mi hanno chiesto di questo più di quanto pensi ... Il "paradosso di Moravec dei robot" crea anche l'illusione che le capacità fisiche dell'IA siano molto più avanzate di quanto non siano in realtà. Non sto isolando Unitree, poiché si applica ampiamente a tutte le recenti dimostrazioni acrobatiche nel settore. Ecco un semplice test: se metti un muro di fronte al robot che fa il salto laterale, esso si schianterà contro di esso a tutta forza e farà uno spettacolo. Perché sta semplicemente sovradattando quel singolo movimento di riferimento, senza alcuna consapevolezza dell'ambiente circostante. Ecco perché esiste il paradosso: è molto più facile addestrare un "ginnasta cieco" che un robot che vede e manipola. Il primo può essere risolto interamente in simulazione e trasferito zero-shot nel mondo reale, mentre il secondo richiede rendering estremamente realistici, fisica dei contatti e dinamiche disordinate degli oggetti nel mondo reale - nessuna di queste può essere simulata bene. Immagina di poter addestrare LLM non da internet, ma da un gioco di console testuale puramente creato a mano. I robotici sono stati fortunati. Ci troviamo a vivere in un mondo in cui i motori fisici accelerati sono così bravi che possiamo cavarcela con acrobazie impressionanti usando letteralmente zero dati reali. Ma non abbiamo ancora scoperto lo stesso codice di cheat per la destrezza generale. Fino ad allora, continueremo a essere interrogati dai nostri genitori confusi.

Il mio bar per AGI è molto più semplice: un'intelligenza artificiale che cucina una bella cena a casa di chiunque per qualsiasi cucina. Il test di Turing fisico è molto probabilmente più difficile del premio Nobel. Il paradosso di Moravec continuerà a perseguitarci, incombendo più grande e più oscuro, per il decennio a venire.

Di recente sono stato un po' silenzioso su X. L'anno scorso è stata un'esperienza di trasformazione. Grok-4 e Kimi K2 sono fantastici, ma il mondo della robotica è un meraviglioso selvaggio west. Sembra la PNL nel 2018 quando GPT-1 è stato pubblicato, insieme a BERT e mille altri fiori che sono sbocciati. Nessuno sapeva chi sarebbe poi diventato ChatGPT. I dibattiti erano accesi. L'entropia era alle stelle. Le idee erano follemente divertenti. Credo che il GPT-1 della robotica sia già da qualche parte su Arxiv, ma non sappiamo esattamente quale. Potrebbero essere modelli di mondo, RL, apprendimento da video umani, sim2real, real2sim, ecc. ecc, o qualsiasi combinazione di essi. I dibattiti sono accesi. L'entropia è alle stelle. Le idee sono follemente divertenti, invece di spremere l'ultima percentuale su AIME e GPQA. La natura della robotica complica notevolmente anche lo spazio di progettazione. A differenza del mondo pulito dei bit per gli LLM (stringhe di testo), noi robotici dobbiamo fare i conti con il mondo disordinato degli atomi. Dopotutto, c'è un pezzo di metallo definito dal software nel circuito. I normies LLM potrebbero trovare difficile da credere, ma finora gli esperti di robotica non riescono ancora a mettersi d'accordo su un punto di riferimento! Robot diversi hanno diversi inviluppi di capacità: alcuni sono più bravi nelle acrobazie mentre altri nella manipolazione degli oggetti. Alcuni sono destinati all'uso industriale, mentre altri sono destinati alle faccende domestiche. La cross-embodiment non è solo una novità della ricerca, ma una caratteristica essenziale per un cervello robotico universale. Ho parlato con dozzine di responsabili di varie aziende di robot, vecchie e nuove. Alcuni vendono tutto il corpo. Alcuni vendono parti del corpo come mani abili. Molti altri vendono le pale per fabbricare nuovi corpi, creare simulazioni o raccogliere enormi quantità di dati. Lo spazio delle idee imprenditoriali è selvaggio quanto la ricerca stessa. È una nuova corsa all'oro, come non si vedeva dall'ondata di ChatGPT del 2022. Il momento migliore per partecipare è quando il picco di non consenso. Siamo ancora all'inizio di una curva di perdita: ci sono forti segnali di vita, ma molto, molto lontani dalla convergenza. Ogni passo di pendenza ci porta verso l'ignoto. Ma una cosa so per certo: non c'è AGI senza toccare, sentire ed essere incarnati in questo mondo disordinato. Su una nota più personale: gestire un laboratorio di ricerca comporta un livello di responsabilità completamente nuovo. Dare aggiornamenti direttamente all'amministratore delegato di un'azienda da 4 trilioni di dollari è, per usare un eufemismo, sia elettrizzante che consuma tutto il mio peso di attenzione. Sono finiti i giorni in cui potevo stare al passo e immergermi in profondità in ogni notizia dell'intelligenza artificiale. Cercherò di ritagliarmi del tempo per condividere di più del mio viaggio.

Attending CVPR at Nashville! Email or DM me. I’ll float around the venue like brownian motion. Recruiting!

Il test di Turing fisico: la tua casa è in completo disordine dopo un hackathon domenicale. Il lunedì sera, torni a casa in un salotto immacolato e una cena a lume di candela. E non si poteva dire se fosse stato lì un essere umano o una macchina. Ingannevolmente semplice, follemente difficile. È la prossima stella polare dell'intelligenza artificiale. Il sogno che mi tiene sveglio alle 12 del mattino in laboratorio. La visione per la prossima piattaforma di elaborazione che automatizza blocchi di atomi invece di blocchi di bit. Grazie Sequoia per avermi ospitato ad AI Ascent! Di seguito è riportato il mio intervento completo sui primi principi per risolvere la robotica generica: come pensiamo alla strategia dei dati e alle leggi di scalabilità. Vi assicuro che saranno 17 minuti di cui non ve ne pentirete!

Un giorno, nel prossimo decennio, avremo robot in ogni casa, in ogni ospedale e in ogni fabbrica, che faranno ogni lavoro noioso e pericoloso con destrezza sovrumana. Quel giorno sarà conosciuto come "giovedì". Nemmeno Turing oserebbe sognare la nostra vita nei suoi sogni più sfrenati.