Vibe Minecraft: ein Mehrspieler-, konsistentes, Echtzeit-Weltmodell, das den Bau von allem und das Beschwören beliebiger Objekte ermöglicht. Die Funktion von Werkzeugen und sogar die Spielmechanik selbst können durch natürliche Sprache programmiert werden, wie zum Beispiel "Chrono-Pickaxe: setze jeden Block in einen vorherigen Zustand zurück" und "Wasserfälle verwandeln sich in Regenbogenbrücken, wenn Einhörner vorbeigehen". Die Spieler definieren und manipulieren gemeinsam eine geteilte Welt. Die neuronale Simulation nimmt als Eingabe einen *multimodalen* Systemprompt: Spielregeln, Asset-PNGs, eine globale Karte und Ostereier. Sie speichert regelmäßig den Spielzustand als eine Sequenz von latenten Vektoren, die wieder in den Kontext geladen werden können, optional mit eingestreuten "Leittexten", um eine einfache Bearbeitung zu ermöglichen. Jeder Spieler hat sein eigenes explizites Stat-JSON (Gesundheit, Inventar, 3D-Koordinate) sowie implizite "Spielervektoren", die die Interaktionsgeschichte höherer Ordnung erfassen. Spieladministratoren können ein Minecraft-Multiversum erstellen, da die latenten Vektoren von verschiedenen Servern kompatibel sind. Jede Welt kann nahtlos mit einer anderen kreuzen, um in Sekundenschnelle neue Welten zu erschaffen. Die Menschen können mit den vergangenen Zuständen ihrer Freunde oder ihren eigenen mischen und kombinieren. "Seltene Vektoren" können entstehen, da einige Spieler unvermeidlich in den bizarren, unerforschten latenten Raum des Weltmodells wandern würden. Diese schwebenden Matrizen können als NFTs gehandelt werden. Je wilder die Dinge sind, die du ausprobierst, desto wahrscheinlicher ist es, dass du seltene Vektoren abbaust. Wer auch immer Vibe Minecraft zuerst veröffentlicht, wird in die Geschichte eingehen, da er den Verlauf des Spielens für immer verändert.

Ich würde gerne das FSD Scaling Law sehen, da es das einzige physische Datenflywheel im planetarischen Maßstab ist. Was ist die "emergent ability threshold" für Modell-/Datengröße?

Dies ist die Spiel-Engine 2.0. Eines Tages wird die gesamte Komplexität von UE5 von einem datengestützten Blob von Aufmerksamkeitsgewichten absorbiert. Diese Gewichte nehmen die Eingaben von Spielcontroller-Befehlen und animieren direkt einen Raum-Zeit-Bereich von Pixeln. Agrim und ich waren enge Freunde und Co-Autoren im Stanford Vision Lab. Es ist großartig, ihn an der Spitze solcher spannenden Forschung zu sehen! Herzlichen Glückwunsch!

Kein Em Dash sollte in das Pretraining, Post-Training, die Ausrichtung, den Systemprompt und jede Ecke und Nische im Lebenszyklus eines LLM eingebaut werden. Es muss fest in den Kernel, die Identität und das Wesen des Modells integriert sein.

Ich beobachte ein Mini-Moraveks-Paradoxon in der Robotik: Gymnastik, die für Menschen schwierig ist, ist für Roboter viel einfacher als "unattraktive" Aufgaben wie Kochen, Putzen und Zusammenbauen. Das führt zu einer kognitiven Dissonanz für Menschen außerhalb des Fachgebiets: "Also, Roboter können Parkour und Breakdance, aber warum können sie sich nicht um meinen Hund kümmern?" Glaub mir, ich wurde von meinen Eltern öfter danach gefragt, als du denkst ... Das "Robot Moravec's Paradox" erzeugt auch die Illusion, dass die physischen KI-Fähigkeiten viel weiter fortgeschritten sind, als sie tatsächlich sind. Ich mache nicht nur Unitree dafür verantwortlich, da es allgemein auf alle aktuellen akrobatischen Demos in der Branche zutrifft. Hier ist ein einfacher Test: Wenn du eine Wand vor den seitwärts flippen Roboter stellst, wird er mit voller Wucht dagegen knallen und ein Spektakel veranstalten. Denn er passt sich nur dieser einen Referenzbewegung an, ohne sich der Umgebung bewusst zu sein. Hier ist der Grund, warum das Paradoxon existiert: Es ist viel einfacher, einen "blinden Turner" zu trainieren als einen Roboter, der sieht und manipuliert. Ersteres kann vollständig in Simulation gelöst und null-shot in die reale Welt übertragen werden, während letzteres extrem realistische Renderings, Kontaktphysik und chaotische Dynamik realer Objekte erfordert - nichts davon kann gut simuliert werden. Stell dir vor, du könntest LLMs nicht aus dem Internet, sondern aus einem rein handgefertigten Text-Console-Spiel trainieren. Die Robotiker hatten Glück. Wir leben in einer Welt, in der beschleunigte Physik-Engines so gut sind, dass wir mit beeindruckenden Akrobatiken auskommen können, ohne echte Daten zu verwenden. Aber wir haben noch nicht denselben Cheat-Code für allgemeine Geschicklichkeit entdeckt. Bis dahin werden wir weiterhin von unseren verwirrten Eltern befragt.

Meine Messlatte für AGI ist viel einfacher: eine KI, die ein schönes Abendessen in jedem Haus für jede Küche zubereitet. Der Physische Turing-Test ist sehr wahrscheinlich schwieriger als der Nobelpreis. Moravecs Paradoxon wird uns weiterhin verfolgen, immer größer und dunkler, im kommenden Jahrzehnt.

Ich war in letzter Zeit ein wenig still auf X. Das vergangene Jahr war eine transformative Erfahrung. Grok-4 und Kimi K2 sind großartig, aber die Welt der Robotik ist ein wunderbares Wildwest. Es fühlt sich an wie NLP im Jahr 2018, als GPT-1 veröffentlicht wurde, zusammen mit BERT und tausend anderen Blumen, die blühten. Niemand wusste, welche letztendlich ChatGPT werden würde. Die Debatten waren hitzig. Die Entropie war extrem hoch. Die Ideen waren wahnsinnig spannend. Ich glaube, das GPT-1 der Robotik ist bereits irgendwo auf Arxiv, aber wir wissen nicht genau, welches. Es könnten Weltmodelle, RL, Lernen aus menschlichen Videos, sim2real, real2sim usw. sein, oder eine beliebige Kombination davon. Die Debatten sind hitzig. Die Entropie ist extrem hoch. Die Ideen sind wahnsinnig spannend, anstatt die letzten paar % bei AIME & GPQA herauszupressen. Die Natur der Robotik kompliziert auch den Designraum erheblich. Im Gegensatz zur sauberen Welt der Bits für LLMs (Textstrings) müssen wir Robotiker uns mit der chaotischen Welt der Atome auseinandersetzen. Schließlich gibt es ein Stück softwaredefinierten Metalls im Loop. LLM-Normies mögen es schwer finden zu glauben, aber bisher können sich Robotiker immer noch nicht auf einen Benchmark einigen! Verschiedene Roboter haben unterschiedliche Fähigkeitsprofile - einige sind besser in Akrobatik, während andere besser in der Objektmanipulation sind. Einige sind für industrielle Anwendungen gedacht, während andere für Haushaltsaufgaben. Cross-Embodiment ist nicht nur eine Forschungsneuheit, sondern ein wesentliches Merkmal für ein universelles Robotergehirn. Ich habe mit Dutzenden von Führungskräften aus verschiedenen Roboterunternehmen, alten und neuen, gesprochen. Einige verkaufen den ganzen Körper. Einige verkaufen Körperteile wie geschickte Hände. Viele andere verkaufen die Schaufeln, um neue Körper herzustellen, Simulationen zu erstellen oder massive Datenmengen zu sammeln. Der Geschäftsideenraum ist so wild wie die Forschung selbst. Es ist ein neuer Goldrausch, wie wir ihn seit der ChatGPT-Welle von 2022 nicht mehr gesehen haben. Die beste Zeit zum Einsteigen ist, wenn der Non-Consensus seinen Höhepunkt erreicht. Wir befinden uns immer noch am Anfang einer Verlustkurve - es gibt starke Lebenszeichen, aber wir sind noch weit, weit von der Konvergenz entfernt. Jeder Gradienten-Schritt führt uns ins Unbekannte. Aber eines weiß ich mit Sicherheit - es gibt keine AGI, ohne den Kontakt, das Fühlen und das Verkörpern in der chaotischen Welt. Auf einer persönlicheren Note - ein Forschungslabor zu leiten, bringt ein ganz neues Maß an Verantwortung mit sich. Direkte Updates an den CEO eines Unternehmens im Wert von 4 Billionen Dollar zu geben, ist, um es milde auszudrücken, sowohl aufregend als auch allumfassend für mein Aufmerksamkeitsgewicht. Vorbei sind die Zeiten, in denen ich über jede AI-Nachricht auf dem Laufenden bleiben und tief eintauchen konnte. Ich werde versuchen, mir Zeit zu nehmen, um mehr von meiner Reise zu teilen.

Ich besuche die CVPR in Nashville! Schreibt mir eine E-Mail oder eine DM. Ich werde wie eine brownsche Bewegung durch die Veranstaltung schweben. Rekrutierung!

Der physische Turing-Test: Ihr Haus ist nach einem sonntäglichen Hackathon ein komplettes Chaos. Am Montagabend kommen Sie nach Hause in ein makelloses Wohnzimmer und ein Candlelight-Dinner. Und man konnte nicht sagen, ob ein Mensch oder eine Maschine dort gewesen war. Täuschend einfach, wahnsinnig schwer. Es ist der nächste Nordstern der KI. Der Traum, der mich um 12 Uhr im Labor wach hält. Die Vision für die nächste Computing-Plattform, die Chunks von Atomen anstelle von Chunks von Bits automatisiert. Danke Sequoia, dass du mich bei AI Ascent aufgenommen hast! Im Folgenden finden Sie meinen vollständigen Vortrag über die ersten Prinzipien zur Lösung der Allzweckrobotik: wie wir über die Datenstrategie und die Skalierungsgesetze denken. Ich versichere Ihnen, es werden 17 Minuten sein, die Sie nicht bereuen!

Eines Tages im nächsten Jahrzehnt werden wir Roboter in jedem Haus, jedem Krankenhaus und jeder Fabrik haben, die jede langweilige und gefährliche Arbeit mit übermenschlicher Geschicklichkeit erledigen. Dieser Tag wird als "Donnerstag" bekannt sein. Nicht einmal Turing würde es wagen, sich in seinen kühnsten Träumen unser Leben auszumalen.