Vibe Minecraft: un modelo de mundo multijugador, autoconsistente y en tiempo real que permite construir cualquier cosa y conjurar cualquier objeto. La función de las herramientas e incluso la propia mecánica del juego se puede programar mediante lenguaje natural, como "chrono-pickaxe: revertir cualquier bloque a un estado anterior en el tiempo" y "las cascadas se convierten en un puente arcoíris cuando pasan los unicornios". Los jugadores definen y manipulan colectivamente un mundo compartido. El simulador neuronal toma como entrada un indicador del sistema *multimodal*: reglas del juego, pngs de activos, un mapa global y huevos de pascua. Guarda periódicamente los estados del juego como una secuencia de vectores latentes que se pueden volver a cargar en contexto, opcionalmente con "textos de guía" intercalados para permitir una fácil edición. Cada jugador tiene su propio json de estadísticas explícito (salud, inventario, coordenadas 3D), así como "vectores de jugadores" implícitos que capturan el historial de interacciones de orden superior. Los administradores de juegos pueden crear un multiverso de Minecraft porque los latentes son compatibles con diferentes servidores. Cada mundo puede cruzarse sin problemas con otro para generar nuevos mundos en segundos. Las personas pueden mezclar y combinar con sus amigos o con sus propios estados pasados. Pueden surgir "vectores raros" cuando algunos jugadores inevitablemente deambulen por el extraño e inexplorado espacio latente del modelo del mundo. Esas matrices flotantes se pueden negociar como NFT. Cuanto más salvajes pruebes, más probabilidades tendrás de extraer vectores raros. Quien lance Vibe Minecraft primero pasará a la historia como alterando el curso de los juegos para siempre.

Me encantaría ver la Ley de Escalado de FSD, ya que es el único ciclo de datos físico a escala planetaria. ¿Cuál es el "umbral de capacidad emergente" para el tamaño del modelo/datos?

Este es el motor de juego 2.0. Algún día, toda la complejidad de UE5 será absorbida por un blob impulsado por datos de pesos de atención. Esos pesos toman como entrada los comandos del controlador de juego y animan directamente un trozo de espacio-tiempo de píxeles. Agrim y yo éramos amigos cercanos y coautores en el Laboratorio de Visión de Stanford. ¡Es genial verlo en la vanguardia de una investigación tan interesante! ¡Felicidades!

No se debe incorporar un em dash en el preentrenamiento, post-entrenamiento, alineación, aviso del sistema y en cada rincón del ciclo de vida de un LLM. Debe estar integrado en el núcleo, la identidad y el ser mismo del modelo.

Estoy observando una mini paradoja de Moravec dentro de la robótica: la gimnasia que es difícil para los humanos es mucho más fácil para los robots que las tareas "poco atractivas" como cocinar, limpiar y ensamblar. Conduce a una disonancia cognitiva para las personas fuera del campo, "entonces, los robots pueden hacer parkour y breakdance, pero ¿por qué no pueden cuidar a mi perro?" Créeme, mis padres me preguntaron sobre esto más de lo que piensas ... La "paradoja del robot Moravec" también crea la ilusión de que las capacidades físicas de la IA son mucho más avanzadas de lo que realmente son. No estoy señalando a Unitree, ya que se aplica ampliamente a todas las demostraciones acrobáticas recientes en la industria. Aquí hay una prueba simple: si coloca una pared frente al robot que se voltea lateralmente, se estrellará contra ella con toda su fuerza y hará un espectáculo. Porque solo está sobreajustando ese movimiento de referencia única, sin ninguna conciencia del entorno. He aquí por qué existe la paradoja: es mucho más fácil entrenar a un "gimnasta ciego" que a un robot que ve y manipula. El primero se puede resolver completamente en simulación y transferir de cero disparos al mundo real, mientras que el segundo exige una representación extremadamente realista, física de contacto y dinámica de objetos del mundo real desordenada, ninguno de los cuales se puede simular bien. Imagina que puedes entrenar LLM no desde Internet, sino desde un juego de consola de texto puramente hecho a mano. Los roboticistas tuvieron suerte. Resulta que vivimos en un mundo donde los motores de física acelerada son tan buenos que podemos salirnos con la nuestra con acrobacias impresionantes usando literalmente cero datos reales. Pero aún no hemos descubierto el mismo código de trucos para la destreza general. Hasta entonces, nuestros padres confundidos seguirán cuestionándonos.

Mi barra para AGI es mucho más simple: una IA cocinando una buena cena en la casa de cualquier persona para cualquier cocina. La prueba de Turing física es muy probablemente más difícil que el Premio Nobel. La paradoja de Moravec seguirá persiguiéndonos, haciéndose más grande y más oscura, durante la próxima década.

He estado un poco callado sobre X recientemente. El año pasado ha sido una experiencia transformadora. Grok-4 y Kimi K2 son increíbles, pero el mundo de la robótica es un maravilloso salvaje oeste. Se siente como NLP en 2018 cuando se publicó GPT-1, junto con BERT y otras mil flores que florecieron. Nadie sabía cuál se convertiría finalmente en ChatGPT. Los debates fueron acalorados. La entropía estaba por las nubes. Las ideas eran increíblemente divertidas. Creo que el GPT-1 de la robótica ya está en algún lugar de Arxiv, pero no sabemos exactamente cuál. Podrían ser modelos de mundo, RL, aprender del video humano, sim2real, real2sim, etc. etc., o cualquier combinación de ellos. Los debates son acalorados. La entropía está por las nubes. Las ideas son increíblemente divertidas, en lugar de exprimir el último % en AIME y GPQA. La naturaleza de la robótica también complica enormemente el espacio de diseño. A diferencia del mundo limpio de bits para LLM (cadenas de texto), los roboticistas tenemos que lidiar con el desordenado mundo de los átomos. Después de todo, hay un trozo de metal definido por software en el bucle. Los normies de LLM pueden encontrarlo difícil de creer, ¡pero hasta ahora los roboticistas aún no pueden ponerse de acuerdo sobre un punto de referencia! Los diferentes robots tienen diferentes envolventes de capacidad: algunos son mejores en acrobacias mientras que otros en la manipulación de objetos. Algunos están destinados a uso industrial, mientras que otros son para tareas domésticas. La encarnación cruzada no es solo una novedad de investigación, sino una característica esencial para un cerebro robótico universal. He hablado con docenas de líderes de C-suite de varias compañías de robots, antiguas y nuevas. Algunos venden todo el cuerpo. Algunos venden partes del cuerpo como manos diestras. Muchos más venden las palas para fabricar nuevos cuerpos, crear simulaciones o recopilar enormes cantidades de datos. El espacio de las ideas de negocio es tan salvaje como la investigación misma. Es una nueva fiebre del oro, como no hemos visto desde la ola de ChatGPT de 2022. El mejor momento para participar es cuando el no consenso alcanza su punto máximo. Todavía estamos al comienzo de una curva de pérdidas: hay fuertes signos de vida, pero muy, muy lejos de la convergencia. Cada paso de gradiente nos lleva a lo desconocido. Pero una cosa sí sé con certeza: no hay AGI sin tocar, sentir y encarnarse en el mundo desordenado. En una nota más personal, dirigir un laboratorio de investigación conlleva un nivel de responsabilidad completamente nuevo. Dar actualizaciones directamente al CEO de una empresa de $ 4 billones es, por decirlo suavemente, emocionante y absorbe todos mis pesos de atención. Atrás quedaron los días en los que podía estar al tanto y profundizar en todas las noticias de IA. Intentaré sacar tiempo para compartir más de mi viaje.

¡Asistiendo a CVPR en Nashville! Envíame un correo electrónico o un mensaje directo. Flotaré por el lugar como un movimiento browniano. ¡Contratación!

El Test Físico de Turing: tu casa es un completo desastre después de un hackathon dominical. El lunes por la noche, llegas a casa con una sala de estar inmaculada y una cena a la luz de las velas. Y no se podía saber si un humano o una máquina había estado allí. Engañosamente simple, increíblemente difícil. Es la próxima estrella polar de la IA. El sueño que me mantiene despierto a las 12 de la mañana en el laboratorio. La visión de la próxima plataforma informática que automatice trozos de átomos en lugar de trozos de bits. ¡Gracias Sequoia por recibirme en AI Ascent! A continuación se muestra mi charla completa sobre los primeros principios para resolver la robótica de propósito general: cómo pensamos sobre la estrategia de datos y las leyes de escalado. ¡Te aseguro que serán 17 minutos de los que no te arrepentirás!

Algún día en la próxima década, tendremos robots en cada hogar, en cada hospital y fábrica, haciendo todos los trabajos aburridos y peligrosos con una destreza sobrehumana. Ese día se conocerá como "Jueves". Ni siquiera Turing se atrevería a soñar nuestra vida en sus sueños más salvajes.