我認為 GPT-5 應該只是針對短期時間表的一個小更新。 EPOCH 認為 GPT-5 不是基於基礎模型的擴展。假設這是真的。 這對預訓練意味著什麼? 選項 1:預訓練擴展已經遇到瓶頸(或至少大幅減少收益)。 選項 2:只是需要更長的時間來正確完成下一步的預訓練擴展。沒有根本的限制;我們只是還沒有弄清楚。 選項 3:沒有預訓練的瓶頸,只有基本經濟學。人們目前使用模型的大多數任務可能不需要更大的基礎模型,因此專注於可用性更為重要。 AGI 需要什麼? 選項 1:需要更多的基礎模型改進。 選項 2:強化學習就是你所需要的。如果我們投入足夠的強化學習,當前的基礎模型將會完全擴展。 時間表似乎只受到預訓練瓶頸和更多改進需求的影響。在所有其他情況下,沒有重大更新。 我個人認為 GPT-5 應該是朝著較慢時間表的一個小更新,但我大多數的短期時間表信念無論如何都是來自強化學習擴展。
5.61K