Vibe Minecraft: um modelo de mundo multijogador, autoconsistente e em tempo real que permite construir qualquer coisa e conjurar qualquer objeto. A função das ferramentas e até mesmo a própria mecânica do jogo podem ser programadas por linguagem natural, como "crono-picareta: reverta qualquer bloco para um estado anterior no tempo" e "cachoeiras se transformam em ponte de arco-íris quando unicórnios passam". Os jogadores definem e manipulam coletivamente um mundo compartilhado. O simulador neural recebe como entrada um prompt de sistema *multimodal*: regras do jogo, pngs de ativos, um mapa global e easter eggs. Ele salva periodicamente os estados do jogo como uma sequência de vetores latentes que podem ser carregados de volta ao contexto, opcionalmente com "textos de orientação" intercalados para permitir uma edição fácil. Cada jogador tem seu próprio json de estatísticas explícito (saúde, inventário, coordenada 3D), bem como "vetores de jogador" implícitos que capturam o histórico de interação de ordem superior. Os administradores de jogos podem criar um multiverso do Minecraft porque os latentes são compatíveis com diferentes servidores. Cada mundo pode cruzar perfeitamente com outro para gerar novos mundos em segundos. As pessoas podem misturar e combinar com seus amigos ou seus próprios estados passados. "Vetores raros" podem surgir, pois alguns jogadores inevitavelmente vagam pelo espaço latente bizarro e desconhecido do modelo mundial. Essas matrizes flutuantes podem ser negociadas como NFTs. Quanto mais selvagens você tentar, maior a probabilidade de minerar vetores raros. Quem lançar o Vibe Minecraft primeiro entrará para a história como alterando o curso dos jogos para sempre.

Adoraria ver a Lei de Escala FSD, pois é o único volante de dados físicos em escala planetária. Qual é o "limite de habilidade emergente" para o tamanho do modelo/dados?

Este é o motor de jogo 2.0. Algum dia, toda a complexidade do UE5 será absorvida por uma bolha orientada por dados de pesos de atenção. Esses pesos recebem comandos de entrada do controlador de jogo e animam diretamente um pedaço de pixels do espaço-tempo. Agrim e eu éramos amigos íntimos e co-autores no Stanford Vision Lab. Tão bom vê-lo na fronteira de uma pesquisa tão legal! Parabéns!

Nenhum travessão deve ser incorporado ao pré-treinamento, pós-treinamento, alinhamento, prompt do sistema e todos os cantos e recantos do ciclo de vida de um LLM. Ele precisa ser conectado ao kernel, à identidade e ao próprio ser do modelo.

Estou observando um mini paradoxo de Moravec dentro da robótica: a ginástica que é difícil para os humanos é muito mais fácil para os robôs do que tarefas "pouco sexy" como cozinhar, limpar e montar. Isso leva a uma dissonância cognitiva para pessoas de fora do campo, "então, os robôs podem fazer parkour e breakdance, mas por que eles não podem cuidar do meu cachorro?" Acredite em mim, meus pais me perguntaram sobre isso mais do que você pensa ... O "paradoxo do robô Moravec" também cria a ilusão de que os recursos físicos de IA são muito mais avançados do que realmente são. Não estou destacando o Unitree, pois ele se aplica amplamente a todas as demos acrobáticas recentes da indústria. Aqui está um teste simples: se você montar uma parede na frente do robô que vira de lado, ele vai bater nela com força total e fazer um espetáculo. Porque é apenas sobreajustar aquele único movimento de referência, sem qualquer consciência do ambiente. Eis por que o paradoxo existe: é muito mais fácil treinar um "ginasta cego" do que um robô que vê e manipula. O primeiro pode ser resolvido inteiramente em simulação e transferido para o mundo real, enquanto o último exige renderização extremamente realista, física de contato e dinâmica de objetos do mundo real confusa - nenhum dos quais pode ser bem simulado. Imagine que você pode treinar LLMs não da Internet, mas de um jogo de console de texto puramente feito à mão. Os roboticistas tiveram sorte. Acontece que vivemos em um mundo onde os motores de física acelerada são tão bons que podemos nos safar com acrobacias impressionantes usando literalmente zero dados reais. Mas ainda não descobrimos o mesmo código de trapaça para destreza geral. Até lá, ainda seremos questionados por nossos pais confusos.

Meu bar para AGI é muito mais simples: uma IA cozinhando um bom jantar na casa de qualquer pessoa para qualquer cozinha. O Teste de Turing Físico é muito provavelmente mais difícil do que o Prêmio Nobel. O paradoxo de Moravec continuará a nos assombrar, parecendo maior e mais sombrio, na próxima década.

Eu estive um pouco quieto em X recentemente. O ano passado foi uma experiência transformadora. Grok-4 e Kimi K2 são incríveis, mas o mundo da robótica é um maravilhoso oeste selvagem. Parece PNL em 2018, quando GPT-1 foi publicado, junto com BERT e milhares de outras flores que floresceram. Ninguém sabia qual deles acabaria se tornando o ChatGPT. Os debates foram acalorados. A entropia estava nas alturas. As ideias eram incrivelmente divertidas. Acredito que o GPT-1 da robótica já está em algum lugar no Arxiv, mas não sabemos exatamente qual. Podem ser modelos de mundo, RL, aprendendo com vídeo humano, sim2real, real2sim, etc. etc, ou qualquer combinação deles. Os debates são acalorados. A entropia é altíssima. As ideias são insanamente divertidas, em vez de espremer os últimos % no AIME e no GPQA. A natureza da robótica também complica muito o espaço de design. Ao contrário do mundo limpo de bits para LLMs (strings de texto), nós, roboticistas, temos que lidar com o mundo confuso dos átomos. Afinal, há um pedaço de metal definido por software no circuito. Os normies do LLM podem achar difícil de acreditar, mas até agora os roboticistas ainda não conseguem chegar a um acordo sobre um benchmark! Robôs diferentes têm envelopes de capacidade diferentes - alguns são melhores em acrobacias, enquanto outros na manipulação de objetos. Alguns são destinados ao uso industrial, enquanto outros são para tarefas domésticas. A incorporação cruzada não é apenas uma novidade de pesquisa, mas uma característica essencial para um cérebro de robô universal. Conversei com dezenas de líderes de alto escalão de várias empresas de robôs, antigas e novas. Alguns vendem o corpo inteiro. Alguns vendem partes do corpo, como mãos hábeis. Muitos outros vendem as pás para fabricar novos corpos, criar simulações ou coletar grandes quantidades de dados. O espaço da ideia de negócio é tão selvagem quanto a própria pesquisa. É uma nova corrida do ouro, como não víamos desde a onda do ChatGPT de 2022. O melhor momento para entrar é quando o não consenso atinge o pico. Ainda estamos no início de uma curva de perda - há fortes sinais de vida, mas muito, muito longe da convergência. Cada passo do gradiente nos leva ao desconhecido. Mas uma coisa eu sei com certeza - não há AGI sem tocar, sentir e ser incorporado no mundo bagunçado. Em uma nota mais pessoal - administrar um laboratório de pesquisa vem com um nível totalmente novo de responsabilidade. Dar atualizações diretamente ao CEO de uma empresa de US $ 4 trilhões é, para dizer o mínimo, emocionante e consumir tudo dos meus pesos de atenção. Já se foram os dias em que eu podia ficar por dentro e mergulhar fundo em todas as notícias de IA. Vou tentar arranjar tempo para compartilhar mais da minha jornada.

Participando do CVPR em Nashville! Envie-me um e-mail ou DM. Vou flutuar pelo local como um movimento browniano. Recrutamento!

O Teste de Turing Físico: sua casa está uma bagunça completa depois de um hackathon de domingo. Na segunda-feira à noite, você chega em casa para uma sala de estar imaculada e um jantar à luz de velas. E você não poderia dizer se um humano ou uma máquina estava lá. Enganosamente simples, insanamente difícil. É a próxima Estrela do Norte da IA. O sonho que me mantém acordado às 12 da manhã no laboratório. A visão para a próxima plataforma de computação que automatiza pedaços de átomos em vez de pedaços de bits. Obrigado Sequoia por me hospedar no AI Ascent! Abaixo está minha palestra completa sobre os primeiros princípios para resolver a robótica de uso geral: como pensamos sobre a estratégia de dados e as leis de dimensionamento. Garanto que serão 17 minutos que você não se arrepende!

Algum dia, na próxima década, teremos robôs em todas as casas, hospitais e fábricas, fazendo todos os trabalhos maçantes e perigosos com destreza sobre-humana. Esse dia será conhecido como "quinta-feira". Nem mesmo Turing ousaria sonhar com nossa vida em seus sonhos mais loucos.