Vibe Minecraft: багатокористувацька, самоузгоджена модель світу в реальному часі, яка дозволяє будувати що завгодно і викликати будь-які об'єкти. Функцію інструментів і навіть саму ігрову механіку можна запрограмувати природною мовою, на кшталт «хроно-кирка: вчасно повернути будь-який блок до попереднього стану» та «водоспади перетворюються на райдужний міст, коли повз проходять єдинороги». Гравці колективно визначають спільний світ і маніпулюють ним. Нейронний симулятор приймає на вхід підказку *мультимодальної* системи: правила гри, png-файли активів, глобальну карту та пасхальні яйця. Він періодично зберігає ігрові стани у вигляді послідовності латентних векторів, які можуть бути завантажені назад у контекст, за бажанням з чергуванням «керівних текстів», щоб полегшити редагування. У кожного геймера є свої власні явні характеристики json (здоров'я, інвентар, 3D-координати), а також неявні «вектори гравців», які фіксують історію взаємодії вищого порядку. Адміністратори ігор можуть створити мультивсесвіт Minecraft, оскільки латенти сумісні з різними серверами. Кожен світ може плавно перетинатися з іншим, щоб породити нові світи за лічені секунди. Люди можуть змішувати та поєднувати зі станами своїх друзів або власним минулим. «Рідкісні вектори» можуть з'явитися, коли деякі гравці неминуче забредуть у химерний, незвіданий латентний простір моделі світу. Ці плаваючі матриці можна обмінювати як NFT. Чим більш дикі речі ви спробуєте, тим більша ймовірність того, що ви будете видобувати рідкісні вектори. Хто першим відправить Vibe Minecraft, назавжди увійде в історію як такий, що назавжди змінює хід ігор.

Хотів би побачити закон масштабування FSD, оскільки це єдиний фізичний маховик даних у планетарному масштабі. Який «поріг емерджентної здатності» для розміру моделі/даних?

Це ігровий движок 2.0. Коли-небудь вся складність UE5 буде поглинена краплею ваг уваги, керованих даними. Ці ваги приймають як вхідні команди ігрового контролера та безпосередньо анімують просторово-часовий шматок пікселів. Ми з Агрімом були близькими друзями та співавторами ще в Stanford Vision Lab. Так приємно бачити його на передньому краї таких крутих досліджень! Вітаємо!

Жодне em dash не повинно бути вбудоване в попереднє навчання, після тренування, вирівнювання, системний prompt і кожен куточок у життєвому циклі LLM. Він повинен бути жорстко зашитий в ядро, ідентичність і саме буття моделі.

Я спостерігаю парадокс міні-Моравеца в робототехніці: складна для людини гімнастика набагато простіша для роботів, ніж «несексуальні» завдання на кшталт приготування їжі, прибирання та складання. Це призводить до когнітивного дисонансу для людей поза полем: «Отже, роботи можуть паркур і брейк-данс, але чому вони не можуть подбати про мою собаку?». Повірте мені, мене про це батьки запитували більше, ніж ви думаєте ... «Парадокс робота Моравека» також створює ілюзію, що фізичні можливості штучного інтелекту набагато досконаліші, ніж вони є насправді. Я не виділяю Unitree, оскільки він широко застосовується до всіх останніх акробатичних демо-версій в індустрії. Ось простий тест: якщо ви встановите стіну перед роботом, що перевертається вбік, він врізається в нього на повну силу і влаштує видовище. Тому що це просто переоснащення цього єдиного еталонного руху, без будь-якого усвідомлення оточення. Ось чому і існує парадокс: набагато простіше тренувати «сліпого гімнаста», ніж робота, який бачить і маніпулює. Перший може бути повністю вирішений у симуляції та перенесений нульовий постріл у реальний світ, тоді як другий вимагає надзвичайно реалістичного рендерингу, фізики контактів та безладної динаміки об'єктів у реальному світі – жоден з яких не може бути добре змодельований. Уявіть, що ви можете тренувати LLM не з Інтернету, а з чисто створеної вручну текстової консольної гри. Робототехнікам пощастило. Нам випало жити у світі, де прискорені фізичні двигуни настільки хороші, що ми можемо обійтися вражаючою акробатикою, використовуючи буквально нульову кількість реальних даних. Але ми ще не виявили такого ж чит-коду для загальної спритності. До того часу нас все одно будуть допитувати наші розгублені батьки.

Мій бар для AGI набагато простіший: штучний інтелект готує смачну вечерю в будь-якому будинку для будь-якої кухні. Фізичний тест Тюрінга, швидше за все, складніший, ніж Нобелівська премія. Парадокс Моравця продовжуватиме переслідувати нас, стаючи все більшими і темнішими, протягом наступного десятиліття.

Останнім часом я трохи мовчав про X. Рік, що минає, став трансформаційним досвідом. Grok-4 і Kimi K2 чудові, але світ робототехніки – це дивовижний Дикий Захід. Це схоже на НЛП у 2018 році, коли був опублікований GPT-1, разом із BERT та тисячею інших квітів, які цвіли. Ніхто не знав, який з них згодом стане ChatGPT. Дебати були запеклими. Ентропія була захмарною. Ідеї були шалено веселими. Я вважаю, що GPT-1 робототехніки вже десь на Arxiv, але ми не знаємо точно, який саме. Це можуть бути моделі світу, RL, навчання на людському відео, sim2real, real2sim і т.д. і т.д., або будь-яка їх комбінація. Суперечки запеклі. Ентропія захмарна. Ідеї – це шалено весело, замість того, щоб вичавлювати останні кілька % на AIME та GPQA. Характер робототехніки також сильно ускладнює оформлення простору. На відміну від чистого світу бітів для LLM (текстових рядків), нам, робототехнікам, доводиться мати справу з безладним світом атомів. Зрештою, в шлейфі є шматок програмно-визначеного металу. Можливо, в це важко повірити, але поки що робототехніки все ще не можуть домовитися про еталон! Різні роботи мають різні можливості - одні краще справляються з акробатикою, а інші - з маніпуляціями з об'єктами. Деякі з них призначені для промислового використання, а інші для побутових завдань. Крос-втілення – це не просто новинка в дослідженнях, а важлива характеристика для універсального мозку робота. Я розмовляв з десятками керівників вищої ланки з різних компаній-виробників роботів, старих і нових. Деякі продають все тіло. Деякі продають такі частини тіла, як спритні руки. Набагато більше інших продають лопати для виробництва нових тіл, створення симуляцій або збору величезних масивів даних. Простір бізнес-ідей такий же дикий, як і саме дослідження. Це нова золота лихоманка, подібної до якої ми не бачили з часів хвилі ChatGPT 2022 року. Найкращий час для входу – це коли неконсенсус досягає піку. Ми все ще знаходимося на початку кривої втрат - є сильні ознаки життя, але далеко, далеко від зближення. Кожен крок градієнта веде нас у невідоме. Але одне я знаю точно - немає AGI без дотиків, відчуттів і втілення в безладному світі. На більш особистій ноті - управління дослідницькою лабораторією пов'язане з абсолютно новим рівнем відповідальності. Давати новини безпосередньо генеральному директору компанії за $4T – це, м'яко кажучи, одночасно захоплююче і всепоглинаюче з моєї уваги. Минули ті часи, коли я міг залишатися на вершині та глибоко занурюватися в кожну новину про штучний інтелект. Я постараюся викроїти час, щоб розповісти більше про свою подорож.

Відвідуємо CVPR у Нешвіллі! Надішліть мені електронний лист або надішліть повідомлення. Я буду плавати по майданчику, як броунівський рух. Рекрутинг!

Фізичний тест Тюрінга: у вашому домі повний безлад після недільного хакатону. У понеділок увечері ви приходите додому в бездоганну вітальню і вечерю при свічках. І ви не могли сказати, чи там була людина, чи машина. Оманливо простий, шалено жорсткий. Це наступна Полярна зірка штучного інтелекту. Сон, який не дає мені заснути о 12 годині ночі в лабораторії. Бачення наступної обчислювальної платформи, яка автоматизує шматки атомів замість шматків бітів. Дякую Sequoia за те, що прийняли мене на AI Ascent! Нижче наведено мій повний виступ про перші принципи вирішення робототехніки загального призначення: як ми думаємо про стратегію даних та закони масштабування. Запевняю вас, це будуть 17 хвилин, про які ви не пошкодуєте!

Коли-небудь в наступному десятилітті у нас будуть роботи в кожному будинку, в кожній лікарні і на заводі, які будуть виконувати кожну нудну і небезпечну роботу з надлюдською спритністю. Цей день буде відомий як "четвер". Навіть Тюрінг не наважився б мріяти про наше життя у своїх найсміливіших мріях.