Vibe Minecraft : un modèle de monde en temps réel, multi-joueur et auto-cohérent qui permet de construire n'importe quoi et d'invoquer n'importe quel objet. La fonction des outils et même les mécaniques du jeu peuvent être programmées par langage naturel, comme "pioche chrono : ramène n'importe quel bloc à un état précédent dans le temps" et "les cascades se transforment en pont arc-en-ciel lorsque des licornes passent". Les joueurs définissent et manipulent collectivement un monde partagé. La simulation neuronale prend en entrée un prompt système *multimodal* : règles du jeu, png d'actifs, carte globale et œufs de Pâques. Elle sauvegarde périodiquement les états du jeu sous forme de séquence de vecteurs latents qui peuvent être rechargés dans le contexte, éventuellement avec des "textes de guidance" entrelacés pour permettre une édition facile. Chaque joueur a son propre json d'état explicite (santé, inventaire, coordonnées 3D) ainsi que des "vecteurs de joueur" implicites qui capturent l'historique d'interaction d'ordre supérieur. Les administrateurs de jeu peuvent créer un multivers Minecraft car les latents sont compatibles entre différents serveurs. Chaque monde peut se croiser sans effort avec un autre pour générer de nouveaux mondes en quelques secondes. Les gens peuvent mélanger et assortir avec les états passés de leurs amis ou les leurs. Des "vecteurs rares" peuvent émerger car certains joueurs finissent inévitablement par errer dans l'espace latent bizarre et inexploré du modèle de monde. Ces matrices flottantes peuvent être échangées en tant que NFTs. Plus vous essayez de choses étranges, plus vous êtes susceptible de miner des vecteurs rares. Quiconque lancera Vibe Minecraft en premier entrera dans l'histoire comme ayant modifié le cours du jeu à jamais.

J'aimerais voir la loi d'échelle FSD, car c'est le seul flywheel de données physiques à l'échelle planétaire. Quel est le "seuil de capacité émergente" pour la taille du modèle/données ?

C'est le moteur de jeu 2.0. Un jour, toute la complexité de l'UE5 sera absorbée par un blob de poids d'attention piloté par des données. Ces poids prennent en entrée les commandes du contrôleur de jeu et animent directement un morceau d'espace-temps de pixels. Agrim et moi étions de proches amis et co-auteurs au Stanford Vision Lab. C'est génial de le voir à la pointe de recherches aussi intéressantes ! Félicitations !

Aucun tiret em ne devrait être intégré dans le pré-entraînement, le post-entraînement, l'alignement, l'invite système, et chaque recoin du cycle de vie d'un LLM. Il doit être intégré de manière indissociable dans le noyau, l'identité et l'essence même du modèle.

J'observe un mini paradoxe de Moravec dans la robotique : les gymnastes qui sont difficiles pour les humains sont beaucoup plus faciles pour les robots que les tâches "peu sexy" comme cuisiner, nettoyer et assembler. Cela crée une dissonance cognitive pour les personnes extérieures au domaine, "donc, les robots peuvent faire du parkour et du breakdance, mais pourquoi ne peuvent-ils pas s'occuper de mon chien ?" Croyez-moi, mes parents m'ont posé cette question plus souvent que vous ne le pensez ... Le "paradoxe de Moravec des robots" crée également l'illusion que les capacités physiques de l'IA sont beaucoup plus avancées qu'elles ne le sont réellement. Je ne vise pas spécifiquement Unitree, car cela s'applique largement à toutes les démonstrations acrobatiques récentes dans l'industrie. Voici un test simple : si vous placez un mur devant le robot qui fait des flips latéraux, il va s'y heurter de plein fouet et faire un spectacle. Parce qu'il ne fait que surajuster ce mouvement de référence unique, sans aucune conscience de son environnement. Voici pourquoi le paradoxe existe : il est beaucoup plus facile d'entraîner un "gymnaste aveugle" qu'un robot qui voit et manipule. Le premier peut être entièrement résolu en simulation et transféré sans aucune adaptation au monde réel, tandis que le second exige un rendu extrêmement réaliste, une physique de contact et une dynamique d'objets réels désordonnée - rien de tout cela ne peut être bien simulé. Imaginez que vous puissiez entraîner des LLM non pas à partir d'Internet, mais à partir d'un jeu vidéo textuel entièrement conçu à la main. Les roboticiens ont eu de la chance. Nous vivons dans un monde où les moteurs physiques accélérés sont si bons que nous pouvons nous en sortir avec des acrobaties impressionnantes en utilisant littéralement zéro donnée réelle. Mais nous n'avons pas encore découvert le même code de triche pour la dextérité générale. Jusqu'à ce moment-là, nous continuerons à être questionnés par nos parents confus.

Mon bar pour AGI est beaucoup plus simple : une IA prépare un bon dîner chez n’importe qui pour n’importe quelle cuisine. Le test de Turing physique est très probablement plus difficile que le prix Nobel. Le paradoxe de Moravec continuera de nous hanter, de plus en plus sombre, pour la décennie à venir.

J'ai été un peu silencieux sur X récemment. L'année passée a été une expérience transformationnelle. Grok-4 et Kimi K2 sont incroyables, mais le monde de la robotique est un far west merveilleux. On dirait le NLP en 2018 quand GPT-1 a été publié, avec BERT et mille autres fleurs qui ont fleuri. Personne ne savait lequel deviendrait finalement ChatGPT. Les débats étaient animés. L'entropie était à son comble. Les idées étaient incroyablement amusantes. Je crois que le GPT-1 de la robotique est déjà quelque part sur Arxiv, mais nous ne savons pas exactement lequel. Cela pourrait être des modèles du monde, RL, apprentissage à partir de vidéos humaines, sim2real, real2sim, etc. etc., ou toute combinaison de ceux-ci. Les débats sont animés. L'entropie est à son comble. Les idées sont incroyablement amusantes, au lieu de presser les derniers % sur AIME & GPQA. La nature de la robotique complique également grandement l'espace de conception. Contrairement au monde propre des bits pour les LLMs (chaînes de texte), nous, les roboticiens, devons faire face au monde désordonné des atomes. Après tout, il y a un morceau de métal défini par logiciel dans la boucle. Les normies des LLM peuvent avoir du mal à le croire, mais jusqu'à présent, les roboticiens ne peuvent toujours pas s'accorder sur un benchmark ! Différents robots ont des enveloppes de capacité différentes - certains sont meilleurs en acrobaties tandis que d'autres excellent dans la manipulation d'objets. Certains sont destinés à un usage industriel tandis que d'autres sont pour des tâches ménagères. Le cross-embodiment n'est pas juste une nouveauté de recherche, mais une caractéristique essentielle pour un cerveau robotique universel. J'ai parlé à des dizaines de dirigeants de C-suite de diverses entreprises de robots, anciennes et nouvelles. Certains vendent le corps entier. D'autres vendent des pièces du corps comme des mains agiles. Beaucoup d'autres vendent les pelles pour fabriquer de nouveaux corps, créer des simulations ou collecter d'énormes quantités de données. L'espace des idées commerciales est aussi sauvage que la recherche elle-même. C'est une nouvelle ruée vers l'or, comme nous n'en avons pas vu depuis la vague ChatGPT de 2022. Le meilleur moment pour entrer est lorsque les pics de non-consensus. Nous sommes encore au début d'une courbe de perte - il y a de forts signes de vie, mais très, très loin de la convergence. Chaque étape de gradient nous emmène dans l'inconnu. Mais une chose que je sais avec certitude - il n'y a pas d'AGI sans toucher, sentir et être incarné dans le monde désordonné. Sur une note plus personnelle - diriger un laboratoire de recherche s'accompagne d'un tout nouveau niveau de responsabilité. Donner des mises à jour directement au PDG d'une entreprise de 4 trillions de dollars est, pour le dire simplement, à la fois palpitant et totalement absorbant de mes poids d'attention. Fini le temps où je pouvais rester au courant et plonger profondément dans chaque nouvelle sur l'IA. J'essaierai de dégager du temps pour partager davantage de mon parcours.

Assister à CVPR à Nashville ! Envoyez-moi un e-mail ou un message direct. Je vais me déplacer dans le lieu comme un mouvement brownien. Recrutement !

Le test de Turing physique : votre maison est en désordre après un hackathon du dimanche. Le lundi soir, vous rentrez chez vous dans un salon immaculé et un dîner aux chandelles. Et vous ne pouviez pas dire si un humain ou une machine avait été là. D’une simplicité trompeuse, d’une dureté folle. C’est la prochaine étoile polaire de l’IA. Le rêve qui m’empêche de dormir à 12 heures du matin au labo. La vision de la prochaine plate-forme informatique qui automatise des morceaux d’atomes au lieu de morceaux de bits. Merci Sequoia de m’avoir accueilli à AI Ascent ! Vous trouverez ci-dessous l’intégralité de mon exposé sur les premiers principes pour résoudre la robotique à usage général : comment nous pensons à la stratégie de données et aux lois de mise à l’échelle. Je vous assure que ce sera 17 minutes que vous ne regretterez pas !

Un jour, au cours de la prochaine décennie, nous aurons des robots dans chaque maison, chaque hôpital et chaque usine, effectuant tous les travaux ennuyeux et dangereux avec une dextérité surhumaine. Ce jour sera connu sous le nom de « jeudi ». Même Turing n’oserait pas rêver de notre vie dans ses rêves les plus fous.