Если вы прочитаете что-то на этой неделе, я бы предложил следующий отчет по ИИ: "От фабрик данных к мировым моделям" Он переплетает фабрики данных, инженерное проектирование контекста, RL-среды, мировые модели и многое другое в доступное, но всестороннее эссе о текущих достижениях ИИ.👇(0/12)

Полная статья: 🧵ниже: 1) С релизом Grok 4 стало ясно, что мы не достигли "стены" в расходах на вычисления. Источник: @xai

2) Все чаще данные становятся коротким полюсом в палатке. Источник: @EpochAIResearch

3) Большая часть этих расходов направляется на создание высококачественных наборов данных для постобучения, что быстро приближается к 50% бюджетов на вычисления.

4) Это привело к изменению спроса на "фабрики данных", такие как @scale_AI @HelloSurgeAI @mercor_ai и другие, которые помогают находить необходимую экспертизу и создавать потоки данных, важные для RL в неверифицируемых областях...

5) Что может помочь развивать все более мощные модели рассуждений, явно являясь актуальной парадигмой масштабирования по версии @ArtificialAnlys

6) И все же, модели больше не ограничены IQ, а контекстом. Инженерия подсказок передала эстафету "Инженерии контекста" - развивающейся области, оптимизирующей информационные нагрузки для LLM.

7) Пространство чрезвычайно динамично, но в целом включает в себя масштабирование контекста по 2 векторам: 1. Длина контекста: вычислительные и архитектурные проблемы обработки ультра-длинных последовательностей 2. Мультимодальность: масштабирование контекста за пределы текста к действительно мультимодальным средам.

8) Возможно, высшее выражение контекста eng. заключается в создании "RL-окружений", которые идеально имитируют задачи, на которых можно запускать RL. Хотя сегодня данные ограничены, @MechanizeWork считает, что мы движемся к "GPT-3-подобному" перелому с масштабируемым RL.

9) Однако создание этих сред требует значительных трудозатрат и не кажется очень "горьким уроком". @_kevinlu интересуется, есть ли способ использовать интернет для постобучения, как это было сделано для предобучения?

10) Хотя это интересная мысль, большая часть интернета была захвачена несколькими крупными экосистемами, которые вертикально интегрированы и быстро проводят RL по своим компонентам для еще более быстрого RL (т.е. альфа эволюционирует от @GoogleDeepMind)

11) Неясно, рассматривают ли эти крупные компании различные RL-окружения как неотъемлемую часть или просто как временную остановку на пути к полным "мировым моделям", включая цифровые двойники почти каждого явления. Genie 3 от Google определенно является шагом в этом направлении:

12) Что поднимает вопрос: предназначены ли вертикально интегрированные подходы к созданию синтетического интеллекта с более быстрыми циклами обратной связи RL для того, чтобы опередить и захватить рынок, или могут ли модульные системы скрытых вычислений, данных и талантов конкурировать с эффективной оркестрацией?