Jag tror att GPT-5 bara ska vara en liten uppdatering mot korta tidslinjer. EPOCH hävdar att GPT-5 inte är baserad på en uppskalning av en basmodell. Låt oss anta att detta är sant. Vad säger detta om förträning? Alternativ 1: Skalning före träning har träffat en vägg (eller åtminstone kraftigt minskade vinster). Alternativ 2: Det tar bara längre tid att få nästa uppskalningssteg före träningen rätt. Det finns ingen grundläggande gräns; Vi har bara inte listat ut det än. Alternativ 3: Ingen förträningsvägg, bara grundläggande ekonomi. De flesta uppgifter som människor använder modellerna för just nu kanske inte kräver större basmodeller, så det är viktigare att fokusera på användbarhet. Vad krävs för AGI? Alternativ 1: Fler förbättringar av basmodellen krävs. Alternativ 2: RL är allt du behöver. De nuvarande basmodellerna kommer att skalas hela vägen om vi kastar tillräckligt med RL på den. Tidslinjer verkar bara påverkas om det krävs en vägg före träningen och fler förbättringar. I alla andra världar, inga större uppdateringar. Personligen tycker jag att GPT-5 borde vara en liten uppdatering mot långsammare tidslinjer, men de flesta av mina övertygelser om korta tidslinjer kommer ändå från RL-skalning.