Jeg tror GPT-5 bare bør være en liten oppdatering mot korte tidslinjer. EPOCH hevder at GPT-5 ikke er basert på en basismodelloppskalering. La oss anta at dette er sant. Hva sier dette om pre-training? Alternativ 1: skalering før trening har møtt en vegg (eller i det minste massivt redusert gevinster). Alternativ 2: Det tar bare lengre tid å få det neste oppskaleringstrinnet før trening riktig. Det er ingen grunnleggende grense; vi har bare ikke funnet ut av det ennå. Alternativ 3: Ingen vegg før trening, bare grunnleggende økonomi. De fleste oppgaver folk bruker modellene til akkurat nå krever kanskje ikke større basismodeller, så det er viktigere å fokusere på brukervennlighet. Hva kreves for AGI? Alternativ 1: Flere forbedringer av basismodellen kreves. Alternativ 2: RL er alt du trenger. De nåværende basismodellene vil skalere hele veien hvis vi kaster nok RL på den. Tidslinjer ser bare ut til å bli påvirket hvis det kreves vegg før trening og flere forbedringer. I alle andre verdener, ingen store oppdateringer. Jeg personlig synes GPT-5 bør være en liten oppdatering mot langsommere tidslinjer, men de fleste av mine tro på korte tidslinjer kommer uansett fra RL-skalering.