Acho que o GPT-5 deve ser apenas uma pequena atualização em relação a prazos curtos. A EPOCH argumenta que o GPT-5 não é baseado em uma ampliação do modelo base. Vamos assumir que isso é verdade. O que isso diz sobre o pré-treinamento? Opção 1: a ampliação do pré-treinamento atingiu um limite (ou pelo menos os ganhos foram drasticamente reduzidos). Opção 2: apenas leva mais tempo para acertar o próximo passo de ampliação do pré-treinamento. Não há um limite fundamental; apenas ainda não descobrimos. Opção 3: Sem limite de pré-treinamento, apenas economia básica. A maioria das tarefas para as quais as pessoas usam os modelos agora pode não exigir modelos base maiores, então focar na usabilidade é mais importante. O que é necessário para a AGI? Opção 1: Mais melhorias no modelo base são necessárias. Opção 2: RL é tudo o que você precisa. Os modelos base atuais vão escalar completamente se jogarmos RL suficiente neles. Os prazos parecem ser afetados apenas se houver um limite de pré-treinamento e mais melhorias forem necessárias. Em todos os outros cenários, não há atualizações significativas. Pessoalmente, acho que o GPT-5 deve ser uma pequena atualização em direção a prazos mais lentos, mas a maior parte das minhas crenças sobre prazos curtos vem da ampliação de RL de qualquer forma.
5,87K