热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
我认为GPT-5应该只是一个针对短时间线的小更新。
EPOCH认为GPT-5并不是基于基础模型的扩展。假设这是真的。
这对预训练意味着什么?
选项1:预训练扩展已经遇到瓶颈(或者至少收益大幅减少)。
选项2:只是需要更长的时间来正确完成下一个预训练扩展步骤。没有根本的限制;我们只是还没有弄明白。
选项3:没有预训练瓶颈,只是基本经济学。人们目前使用模型的大多数任务可能不需要更大的基础模型,因此关注可用性更为重要。
AGI需要什么?
选项1:需要更多的基础模型改进。
选项2:RL就是你所需要的。如果我们投入足够的RL,当前的基础模型将会完全扩展。
时间线似乎只在预训练瓶颈和更多改进的情况下受到影响。在所有其他情况下,没有重大更新。
我个人认为GPT-5应该是一个小更新,朝着更慢的时间线发展,但我大多数短时间线的信念无论如何都来自于RL扩展。
5.61K
热门
排行
收藏