如果你這週只讀一件事，我建議你看看以下的AI報告： 「從數據工廠到世界模型」 它將數據工廠、上下文工程、強化學習環境、世界模型等交織在一起，形成一篇易於理解但又全面的論文，探討當前AI的前沿。👇(0/12)

完整文章： 🧵以下： 1) 從Grok 4的發布來看，我們顯然還沒有達到計算支出的"牆"。 來源：@xai

2) 越來越多的數據似乎成為了帳篷中的短桿。 來源：@EpochAIResearch

3) 大部分的支出都用於生成高質量的數據集，以便於後期訓練，這一比例迅速接近計算預算的50%。

4) 這導致了對像 @scale_AI、@HelloSurgeAI、@mercor_ai 等 "數據工廠" 的需求出現了轉折，它們幫助尋找必要的專業知識並構建在不可驗證領域中進行強化學習所需的數據管道...

5) 哪些可以幫助推動更強大的推理模型，顯然是目前流行的擴展範式，根據 @ArtificialAnlys

6) 然而，模型不再受限於智商，而是受限於上下文。提示工程已經將接力棒交給了「上下文工程」——一個新興領域，旨在優化信息負載到大型語言模型（LLMs）。

7) 這個領域極具動態性，但通常涉及在兩個向量上擴展上下文： 1. 上下文長度：處理超長序列的計算和架構挑戰 2. 多模態：將上下文擴展到真正的多模態環境。

8) 或許上下文工程的終極表現是打造 "RL 環境"，這些環境完美模擬可以運行 RL 的任務。 儘管今天數據受到限制，@MechanizeWork 相信我們正朝著 "GPT-3 風格" 的轉折點邁進，並且大規模擴展 RL。

9) 然而，創建這些環境相當耗費人力，似乎並不太符合「苦澀教訓」的概念。 @_kevinlu 想知道是否有辦法像在預訓練時那樣利用互聯網進行後訓練？

10) 雖然這是一個有趣的想法，但互聯網的大部分已被少數大型生態系統所掌控，這些生態系統是垂直整合的，並迅速在其成分中進行強化學習，以實現更快的強化學習 （即來自 @GoogleDeepMind 的 alpha evolve）

11) 這些大型公司是否將不同的強化學習環境視為必要，還是僅僅是通往完整「世界模型」的暫時停留，這尚不清楚，這些模型幾乎包含了每一種現象的數位雙胞胎。 谷歌的 Genie 3 無疑是朝這個方向的一個暗示：

12) 這引出了問題：垂直整合的合成智能建設方法，配合更快的強化學習反饋循環，是否注定能迅速領先並佔據市場，還是潛在的計算、數據和人才的模組化系統能夠與有效的協調競爭？