Creo que GPT-5 debería ser solo una pequeña actualización en comparación con los plazos cortos. EPOCH argumenta que GPT-5 no se basa en una ampliación del modelo base. Supongamos que esto es cierto. ¿Qué dice esto sobre el preentrenamiento? Opción 1: el escalado del preentrenamiento ha chocado contra una pared (o al menos las ganancias se han reducido drásticamente). Opción 2: simplemente lleva más tiempo conseguir que el siguiente paso de escalado del preentrenamiento sea correcto. No hay un límite fundamental; simplemente no lo hemos descubierto aún. Opción 3: No hay pared de preentrenamiento, solo economía básica. La mayoría de las tareas para las que la gente utiliza los modelos en este momento pueden no requerir modelos base más grandes, por lo que centrarse en la usabilidad es más importante. ¿Qué se requiere para la AGI? Opción 1: Se requieren más mejoras en el modelo base. Opción 2: RL es todo lo que necesitas. Los modelos base actuales escalarán completamente si le lanzamos suficiente RL. Los plazos parecen verse afectados solo si hay una pared de preentrenamiento y se requieren más mejoras. En todos los demás escenarios, no hay actualizaciones importantes. Personalmente, creo que GPT-5 debería ser una pequeña actualización hacia plazos más lentos, pero la mayoría de mis creencias sobre plazos cortos provienen de la escalabilidad de RL de todos modos.