Vibe Minecraft: un modelo de mundo en tiempo real, auto-consistente y multijugador que permite construir cualquier cosa y conjurar cualquier objeto. La función de las herramientas e incluso la mecánica del juego pueden ser programadas mediante lenguaje natural, como "pico crono: revertir cualquier bloque a un estado anterior en el tiempo" y "las cascadas se convierten en un puente arcoíris cuando los unicornios pasan". Los jugadores definen y manipulan colectivamente un mundo compartido. La simulación neural toma como entrada un aviso de sistema *multimodal*: reglas del juego, pngs de activos, un mapa global y huevos de pascua. Guarda periódicamente los estados del juego como una secuencia de vectores latentes que pueden ser cargados de nuevo en contexto, opcionalmente con "textos de guía" intercalados para permitir una fácil edición. Cada jugador tiene su propio json de estadísticas explícitas (salud, inventario, coordenada 3D) así como "vectores de jugador" implícitos que capturan la historia de interacción de orden superior. Los administradores del juego pueden crear un multiverso de Minecraft porque los latentes son compatibles entre diferentes servidores. Cada mundo puede cruzarse sin problemas con otro para generar nuevos mundos en segundos. Las personas pueden mezclar y combinar con los estados pasados de sus amigos o los suyos propios. "Vectores raros" pueden surgir ya que algunos jugadores inevitablemente vagarán por el extraño y desconocido espacio latente del modelo de mundo. Esas matrices flotantes pueden ser comerciadas como NFTs. Cuantas más cosas extrañas intentes, más probable será que encuentres vectores raros. Quien lance Vibe Minecraft primero pasará a la historia como el que alteró el curso de los videojuegos para siempre.

Me encantaría ver la Ley de Escalado de FSD, ya que es el único ciclo de datos físico a escala planetaria. ¿Cuál es el "umbral de capacidad emergente" para el tamaño del modelo/datos?

Este es el motor de juego 2.0. Algún día, toda la complejidad de UE5 será absorbida por un blob de pesos de atención impulsado por datos. Esos pesos toman como entrada los comandos del controlador de juego y animan directamente un trozo de píxeles en el espacio-tiempo. Agrim y yo éramos amigos cercanos y coautores en el Stanford Vision Lab. ¡Es genial verlo en la vanguardia de una investigación tan interesante! ¡Felicidades!

No se debe incorporar un em dash en el preentrenamiento, post-entrenamiento, alineación, aviso del sistema y en cada rincón del ciclo de vida de un LLM. Debe estar integrado en el núcleo, la identidad y el ser mismo del modelo.

Estoy observando una mini paradoja de Moravec dentro de la robótica: las acrobacias que son difíciles para los humanos son mucho más fáciles para los robots que las tareas "poco atractivas" como cocinar, limpiar y ensamblar. Esto genera una disonancia cognitiva para las personas ajenas al campo, "entonces, ¿los robots pueden hacer parkour y breakdance, pero por qué no pueden cuidar de mi perro?" Créeme, mis padres me han preguntado sobre esto más de lo que piensas... La "paradoja de Moravec de los robots" también crea la ilusión de que las capacidades físicas de la IA están mucho más avanzadas de lo que realmente están. No estoy señalando a Unitree, ya que esto se aplica ampliamente a todas las recientes demostraciones acrobáticas en la industria. Aquí hay una prueba simple: si colocas una pared frente al robot que hace volteretas laterales, se estrellará contra ella a toda velocidad y hará un espectáculo. Porque simplemente está sobreajustando ese único movimiento de referencia, sin ninguna conciencia del entorno. Aquí está la razón por la que existe la paradoja: es mucho más fácil entrenar a un "gimnasta ciego" que a un robot que ve y manipula. El primero se puede resolver completamente en simulación y transferir sin problemas al mundo real, mientras que el segundo exige un renderizado extremadamente realista, física de contacto y dinámicas de objetos desordenadas en el mundo real, ninguna de las cuales se puede simular bien. Imagina que puedes entrenar LLMs no desde internet, sino desde un juego de consola de texto hecho a mano. Los robóticos tuvieron suerte. Afortunadamente, vivimos en un mundo donde los motores de física acelerados son tan buenos que podemos salirnos con acrobacias impresionantes usando literalmente cero datos reales. Pero aún no hemos descubierto el mismo código de trampa para la destreza general. Hasta entonces, seguiremos siendo cuestionados por nuestros padres confundidos.

Mi barra para AGI es mucho más simple: una IA cocinando una buena cena en la casa de cualquier persona para cualquier cocina. La prueba de Turing física es muy probablemente más difícil que el Premio Nobel. La paradoja de Moravec seguirá persiguiéndonos, haciéndose más grande y más oscura, durante la próxima década.

He estado un poco callado sobre X recientemente. El año pasado ha sido una experiencia transformadora. Grok-4 y Kimi K2 son increíbles, pero el mundo de la robótica es un maravilloso salvaje oeste. Se siente como NLP en 2018 cuando se publicó GPT-1, junto con BERT y otras mil flores que florecieron. Nadie sabía cuál se convertiría finalmente en ChatGPT. Los debates fueron acalorados. La entropía estaba por las nubes. Las ideas eran increíblemente divertidas. Creo que el GPT-1 de la robótica ya está en algún lugar de Arxiv, pero no sabemos exactamente cuál. Podrían ser modelos de mundo, RL, aprender del video humano, sim2real, real2sim, etc. etc., o cualquier combinación de ellos. Los debates son acalorados. La entropía está por las nubes. Las ideas son increíblemente divertidas, en lugar de exprimir el último % en AIME y GPQA. La naturaleza de la robótica también complica enormemente el espacio de diseño. A diferencia del mundo limpio de bits para LLM (cadenas de texto), los roboticistas tenemos que lidiar con el desordenado mundo de los átomos. Después de todo, hay un trozo de metal definido por software en el bucle. Los normies de LLM pueden encontrarlo difícil de creer, ¡pero hasta ahora los roboticistas aún no pueden ponerse de acuerdo sobre un punto de referencia! Los diferentes robots tienen diferentes envolventes de capacidad: algunos son mejores en acrobacias mientras que otros en la manipulación de objetos. Algunos están destinados a uso industrial, mientras que otros son para tareas domésticas. La encarnación cruzada no es solo una novedad de investigación, sino una característica esencial para un cerebro robótico universal. He hablado con docenas de líderes de C-suite de varias compañías de robots, antiguas y nuevas. Algunos venden todo el cuerpo. Algunos venden partes del cuerpo como manos diestras. Muchos más venden las palas para fabricar nuevos cuerpos, crear simulaciones o recopilar enormes cantidades de datos. El espacio de las ideas de negocio es tan salvaje como la investigación misma. Es una nueva fiebre del oro, como no hemos visto desde la ola de ChatGPT de 2022. El mejor momento para participar es cuando el no consenso alcanza su punto máximo. Todavía estamos al comienzo de una curva de pérdidas: hay fuertes signos de vida, pero muy, muy lejos de la convergencia. Cada paso de gradiente nos lleva a lo desconocido. Pero una cosa sí sé con certeza: no hay AGI sin tocar, sentir y encarnarse en el mundo desordenado. En una nota más personal, dirigir un laboratorio de investigación conlleva un nivel de responsabilidad completamente nuevo. Dar actualizaciones directamente al CEO de una empresa de $ 4 billones es, por decirlo suavemente, emocionante y absorbe todos mis pesos de atención. Atrás quedaron los días en los que podía estar al tanto y profundizar en todas las noticias de IA. Intentaré sacar tiempo para compartir más de mi viaje.

¡Asistiendo a CVPR en Nashville! Envíame un correo electrónico o un mensaje directo. Flotaré por el lugar como un movimiento browniano. ¡Contratación!

El Test Físico de Turing: tu casa es un completo desastre después de un hackathon dominical. El lunes por la noche, llegas a casa con una sala de estar inmaculada y una cena a la luz de las velas. Y no se podía saber si un humano o una máquina había estado allí. Engañosamente simple, increíblemente difícil. Es la próxima estrella polar de la IA. El sueño que me mantiene despierto a las 12 de la mañana en el laboratorio. La visión de la próxima plataforma informática que automatice trozos de átomos en lugar de trozos de bits. ¡Gracias Sequoia por recibirme en AI Ascent! A continuación se muestra mi charla completa sobre los primeros principios para resolver la robótica de propósito general: cómo pensamos sobre la estrategia de datos y las leyes de escalado. ¡Te aseguro que serán 17 minutos de los que no te arrepentirás!

Algún día en la próxima década, tendremos robots en cada hogar, en cada hospital y fábrica, haciendo todos los trabajos aburridos y peligrosos con una destreza sobrehumana. Ese día se conocerá como "Jueves". Ni siquiera Turing se atrevería a soñar nuestra vida en sus sueños más salvajes.