Acho que o GPT-5 deve ser apenas uma pequena atualização em prazos curtos. A EPOCH argumenta que o GPT-5 não é baseado em um modelo básico de expansão. Vamos supor que isso seja verdade. O que isso diz sobre o pré-treinamento? Opção 1: a escala pré-treino atingiu uma parede (ou pelo menos reduziu massivamente os ganhos). Opção 2: Leva apenas mais tempo para acertar a próxima etapa de expansão pré-treinamento. Não há limite fundamental; nós simplesmente não descobrimos ainda. Opção 3: Sem parede pré-treinamento, apenas economia básica. A maioria das tarefas para as quais as pessoas usam os modelos agora pode não exigir modelos básicos maiores, portanto, focar na usabilidade é mais importante. O que é necessário para a AGI? Opção 1: Mais melhorias no modelo básico necessárias. Opção 2: RL é tudo que você precisa. Os modelos básicos atuais serão dimensionados até o fim se jogarmos RL suficiente nele. Os cronogramas parecem afetados apenas se a parede pré-treinamento e mais melhorias forem necessárias. Em todos os outros mundos, não há grandes atualizações. Pessoalmente, acho que o GPT-5 deve ser uma pequena atualização em direção a cronogramas mais lentos, mas a maioria das minhas crenças de cronograma curto vem do dimensionamento de RL de qualquer maneira.
5,61K