我认为GPT-5应该只是一个针对短时间线的小更新。 EPOCH认为GPT-5并不是基于基础模型的扩展。假设这是真的。 这对预训练意味着什么? 选项1:预训练扩展已经遇到瓶颈(或者至少收益大幅减少)。 选项2:只是需要更长的时间来正确完成下一个预训练扩展步骤。没有根本的限制;我们只是还没有弄明白。 选项3:没有预训练瓶颈,只是基本经济学。人们目前使用模型的大多数任务可能不需要更大的基础模型,因此关注可用性更为重要。 AGI需要什么? 选项1:需要更多的基础模型改进。 选项2:RL就是你所需要的。如果我们投入足够的RL,当前的基础模型将会完全扩展。 时间线似乎只在预训练瓶颈和更多改进的情况下受到影响。在所有其他情况下,没有重大更新。 我个人认为GPT-5应该是一个小更新,朝着更慢的时间线发展,但我大多数短时间线的信念无论如何都来自于RL扩展。
5.61K