Creo que GPT-5 debería ser solo una pequeña actualización en contra de plazos cortos. EPOCH argumenta que GPT-5 no se basa en una ampliación del modelo base. Supongamos que esto es cierto. ¿Qué dice esto sobre el pre-entrenamiento? Opción 1: la ampliación del pre-entrenamiento ha chocado contra un muro (o al menos las ganancias se han reducido drásticamente). Opción 2: simplemente toma más tiempo conseguir que el siguiente paso de ampliación del pre-entrenamiento sea correcto. No hay un límite fundamental; simplemente no lo hemos descubierto aún. Opción 3: No hay un muro de pre-entrenamiento, solo economía básica. La mayoría de las tareas para las que la gente usa los modelos en este momento pueden no requerir modelos base más grandes, por lo que centrarse en la usabilidad es más importante. ¿Qué se requiere para AGI? Opción 1: Se requieren más mejoras en el modelo base. Opción 2: RL es todo lo que necesitas. Los modelos base actuales escalarán completamente si lanzamos suficiente RL sobre ellos. Los plazos parecen verse afectados solo si hay un muro de pre-entrenamiento y se requieren más mejoras. En todos los demás escenarios, no hay actualizaciones importantes. Personalmente, creo que GPT-5 debería ser una pequeña actualización hacia plazos más lentos, pero la mayoría de mis creencias sobre plazos cortos provienen de la ampliación de RL de todos modos.