Ik denk dat GPT-5 slechts een kleine update zou moeten zijn tegen korte tijdlijnen. EPOCH stelt dat GPT-5 niet is gebaseerd op een schaalvergroting van een basismodel. Laten we aannemen dat dit waar is. Wat zegt dit over pre-training? Optie 1: pre-training schaalvergroting heeft een muur bereikt (of in ieder geval zijn de winsten enorm verminderd). Optie 2: Het duurt gewoon langer om de volgende stap in de pre-training schaalvergroting goed te krijgen. Er is geen fundamentele limiet; we hebben het gewoon nog niet uitgevonden. Optie 3: Geen pre-training muur, gewoon basis economie. De meeste taken waarvoor mensen de modellen momenteel gebruiken, vereisen misschien geen grotere basismodellen, dus is het belangrijker om op bruikbaarheid te focussen. Wat is er nodig voor AGI? Optie 1: Meer verbeteringen aan basismodellen zijn nodig. Optie 2: RL is alles wat je nodig hebt. De huidige basismodellen zullen volledig opschalen als we er genoeg RL op gooien. Tijdlijnen lijken alleen beïnvloed te worden als er een pre-training muur is en meer verbeteringen nodig zijn. In alle andere scenario's zijn er geen grote updates. Persoonlijk denk ik dat GPT-5 een kleine update zou moeten zijn richting langzamere tijdlijnen, maar de meeste van mijn overtuigingen over korte tijdlijnen komen toch uit RL-schaalvergroting.