如果你这周只读一件事，我建议你看看下面的AI报告： 《从数据铸造厂到世界模型》 它将数据铸造厂、上下文工程、强化学习环境、世界模型等交织在一起，形成一篇易于理解但又全面的关于AI前沿的文章。👇(0/12)

完整文章： 🧵如下： 1) 从Grok 4版本来看，我们显然没有达到计算支出的"瓶颈"。 来源：@xai

2) 数据似乎越来越成为短板。 来源：@EpochAIResearch

3) 大部分支出用于生成高质量的数据集，以便在训练后使用，这一比例迅速接近计算预算的50%

4) 这导致了对像 @scale_AI、@HelloSurgeAI、@mercor_ai 等 "数据铸造厂" 的需求发生了转折，这些公司帮助获取必要的专业知识，并构建在不可验证领域中进行强化学习所需的数据管道...

5) 哪些可以帮助推动越来越强大的推理模型，显然是@ArtificialAnlys所说的当前流行的扩展范式

6) 然而，模型不再受限于智商，而是受限于上下文。提示工程已经将接力棒交给了“上下文工程”——一个新兴领域，旨在优化信息负载到大型语言模型（LLMs）。

7) 这个领域极其动态，但通常涉及在两个维度上扩展上下文： 1. 上下文长度：处理超长序列的计算和架构挑战 2. 多模态：将上下文扩展到真正的多模态环境。

8) 也许上下文工程的终极表现是打造完美模拟可以运行强化学习（RL）的任务的“RL环境”。 虽然今天的数据有限，@MechanizeWork相信我们正朝着一种“类似GPT-3”的转折点迈进，强化学习将大规模扩展。

9) 然而，创建这些环境相当耗费人力，并且似乎并不是很“苦涩教训药丸”。 @_kevinlu 想知道是否有办法像预训练那样利用互联网进行后训练？

10) 尽管这是一个有趣的想法，但互联网的大部分内容已被少数大型生态系统所占据，这些生态系统是垂直整合的，并且正在快速进行强化学习，以便在其成分中实现更快的强化学习 （即来自 @GoogleDeepMind 的 alpha evolve）

11) 这些大公司是否将不同的强化学习环境视为必不可少的，还是仅仅是通往完整“世界模型”的临时停靠站，这些模型几乎包含了每种现象的数字双胞胎，这一点尚不清楚。 谷歌的Genie 3无疑是朝这个方向迈出的一步：

12) 这引出了一个问题：垂直整合的合成智能构建方法，配合更快的强化学习反馈循环，是否注定会迅速领先并占领市场，还是潜在计算、数据和人才的模块化系统能够与有效的编排竞争？