Vibe Minecraft:マルチプレイヤー、自己一貫性のあるリアルタイムワールドモデルで、何でも構築し、あらゆるオブジェクトを召喚できます。ツールの機能やゲームの仕組み自体さえも、「クロノツルハシ:任意のブロックを時間内の以前の状態に戻す」や「ユニコーンが通り過ぎると滝がレインボーブリッジに変わる」など、自然言語でプログラムできます。プレイヤーは共有世界を集合的に定義し、操作します。 ニューラルシムは、ゲームルール、アセットpng、グローバルマップ、イースターエッグなどの*マルチモーダル*システムプロンプトを入力として受け取ります。ゲームの状態を、コンテキストに読み込むことができる潜在的なベクトルのシーケンスとして定期的に保存し、オプションでインターリーブされた「ガイダンステキスト」を使用して簡単に編集できるようにします。各ゲーマーには、独自の明示的な統計 json (健康、インベントリ、3D 座標) と、高次のインタラクション履歴をキャプチャする暗黙的な「プレイヤー ベクトル」があります。 ゲーム管理者は、潜在的なものが異なるサーバーから互換性があるため、Minecraft マルチバースを作成できます。各世界は別の世界とシームレスに交差し、数秒で新しい世界をスポーンできます。人々は、友人や自分の過去の状態と組み合わせることができます。「希少なベクトル」は、一部のプレイヤーが必然的に世界モデルの奇妙で未知の潜在空間に迷い込むため、出現する可能性があります。これらのフロート マトリックスは NFT として取引できます。ワイルドなものを試せば試すほど、希少なベクトルを採掘できる可能性が高くなります。 Vibe Minecraft を最初に出荷した人は、ゲームの流れを永遠に変えるものとして歴史に残るでしょう。

FSDスケーリングの法則は、惑星規模で唯一の物理データフライホイールであるため、ぜひ見たいです。モデル/データサイズの「創発能力のしきい値」は何ですか?

これがゲームエンジン2.0です。いつの日か、UE5 のすべての複雑さは、データ駆動型のアテンション ウェイトの塊によって吸収されるでしょう。これらの重みは、入力ゲーム コントローラー コマンドとして受け取り、ピクセルの時空チャンクを直接アニメーション化します。 アグリムと私はスタンフォード・ビジョン・ラボで親しい友人であり、共著者でした。このようなクールな研究の最前線で彼に会えてとてもうれしいです!おめでとう！

事前トレーニング、ポストトレーニング、アライメント、システムプロンプト、およびLLMのライフサイクルの隅々まで、エムダッシュを組み込むべきではありません。それは、モデルのカーネル、アイデンティティ、そして存在そのものに固定されている必要があります。

私はロボット工学における小さなモラベックのパラドックスを観察しています:人間にとって難しい体操は、調理、掃除、組み立てなどの「セクシーでない」作業よりもロボットにとってはるかに簡単です。それは、分野外の人々にとって「では、ロボットはパルクールやブレイクダンスはできるのに、なぜ私の犬の世話をできないのか?」という認知的不協和につながります。信じてください、私はあなたが思っている以上に両親からこのことについて尋ねられました... 「ロボット・モラベックのパラドックス」は、物理的な AI の能力が実際よりもはるかに高度であるかのような錯覚も生み出します。Unitreeは業界の最近のすべてのアクロバティックなデモに広く当てはまるので、私はUnitreeを選び出しているわけではありません。簡単なテストは、横ひっくり返りロボットの前に壁を設置すると、フルパワーで壁にぶつかり、スペクタクルを作ります。なぜなら、周囲を意識せずに、その単一の参照モーションを過剰適合しているだけだからです。 パラドックスが存在する理由は次のとおりです: 「盲目の体操選手」を訓練する方が、見て操作するロボットよりもはるかに簡単です。前者はシミュレーションで完全に解決し、ゼロショットを現実世界に転送できますが、後者は極めてリアルなレンダリング、接触物理学、乱雑な現実世界のオブジェクトダイナミクスを要求しますが、どれもうまくシミュレートすることはできません。 インターネットからではなく、純粋に手作りのテキスト コンソール ゲームから LLM をトレーニングできると想像してみてください。ロボット工学者は幸運でした。私たちはたまたま、加速物理エンジンが非常に優れているため、文字通りゼロの実際のデータを使用して印象的なアクロバットをこなすことができる世界に住んでいます。しかし、一般的な器用さのための同じチートコードはまだ発見されていません。 それまで、私たちは混乱した両親から質問を受けることになります。

私の AGI のバーははるかにシンプルで、AI が誰の家でもどんな料理でもおいしい夕食を作るというものです。物理チューリングテストはノーベル賞よりも難しい可能性が非常に高いです。モラベックのパラドックスは、今後10年間、私たちを悩ませ続け、より大きく、より暗く迫るでしょう。

最近、Xについては少し沈黙しています。昨年は変革的な経験でした。Grok-4 と Kimi K2 は素晴らしいですが、ロボット工学の世界は素晴らしい西部開拓時代です。GPT-1が公開された2018年のNLPと、BERTや他の1000の花が咲いたような気分です。最終的にどちらが ChatGPT になるかは誰にもわかりませんでした。議論は白熱した。エントロピーは空高かった。アイデアはめちゃくちゃ楽しかったです。 ロボット工学の GPT-1 はすでに Arxiv のどこかにあると思いますが、どれがどれかは正確にはわかりません。ワールドモデル、RL、人間のビデオからの学習、sim2real、real2simなど、またはそれらの任意の組み合わせである可能性があります。議論は白熱しています。エントロピーは空高くなっています。アイデアは、AIME と GPQA で最後の数 % を絞るのではなく、めちゃくちゃ楽しいものです。 ロボット工学の性質も設計空間を非常に複雑にします。LLM(テキスト文字列)のビットのクリーンな世界とは異なり、私たちロボット学者は、原子の乱雑な世界に対処しなければなりません。結局のところ、ループにはソフトウェア定義の金属の塊があります。LLM の規範は信じがたいかもしれませんが、これまでのところロボット学者はまだベンチマークについて同意できません。ロボットが異なれば、アクロバットが得意なロボットもあれば、物体の操作が得意なロボットもあります。工業用もあれば、家事用もあります。クロスボディ化は単なる研究の目新しさではなく、ユニバーサルロボットの脳にとって不可欠な機能です。 私は、新旧を問わず、さまざまなロボット会社の経営幹部のリーダーと何十人も話をしてきました。全身を売るものもあります。器用な手などの身体部位を売るところもある。さらに多くの人がシャベルを販売して、新しいボディを製造したり、シミュレーションを作成したり、膨大な量のデータを収集したりしています。ビジネスアイデアの空間は、研究そのものと同じくらいワイルドです。これは、2022 年の ChatGPT の波以来見られなかったような新たなゴールド ラッシュです。 参入するのに最適な時期は、非コンセンサスがピークに達するときです。私たちはまだ損失曲線の始まりにあり、生命の強い兆候はありますが、収束には程遠いです。すべてのグラデーションステップは私たちを未知の世界に連れて行きます。しかし、私が確実に知っていることは、乱雑な世界に触れ、感じ、具現化されなければ、AGIは存在しないということです。 より個人的な話ですが、研究室の運営にはまったく新しいレベルの責任が伴います。4T ドルの会社の CEO に直接最新情報を提供することは、控えめに言っても、スリリングであると同時に、私の注意力をすべて消費します。あらゆる AI ニュースを常に把握し、深く掘り下げることができる時代は終わりました。 私の旅をもっと共有する時間を作りたいと思います。

ナッシュビルのCVPRに参加します!メールまたはDMでお問い合わせください。ブラウンの動きのように会場を浮かび上がります。募集！

フィジカルチューリングテスト:日曜日のハッカソンの後、あなたの家は完全に混乱しています。月曜日の夜、家に帰ると、真っ白なリビングルームとキャンドルライトディナーがあります。そして、そこに人間がいたのか、機械がいたのかはわかりませんでした。見かけによらず単純で、めちゃくちゃ難しい。 AIの次の北極星です。研究室で午前12時に私を目覚めさせる夢。ビットのチャンクではなく、原子のチャンクを自動化する次のコンピューティングプラットフォームのビジョン。 AI Ascentで私をホストしてくれたSequoiaに感謝します!以下は、汎用ロボティクスを解決するための最初の原則、つまりデータ戦略とスケーリングの法則についてどのように考えるかについての私の完全な話です。後悔しない17分になることを保証します!

次の10年のうちのいつの日か、私たちはすべての家庭、すべての病院、工場にロボットが存在し、超人的な器用さで退屈で危険な仕事をするようになるでしょう。その日は「木曜日」と呼ばれます。チューリングでさえも、彼の最も荒唐無稽な夢の中で私たちの生涯を夢見ようとはしなかった。