Uważam, że GPT-5 powinien być tylko małą aktualizacją w krótkich ramach czasowych. EPOCH twierdzi, że GPT-5 nie opiera się na zwiększeniu skali modelu bazowego. Załóżmy, że to prawda. Co to mówi o wstępnym szkoleniu? Opcja 1: skalowanie wstępnego szkolenia osiągnęło ścianę (lub przynajmniej znacznie zredukowane zyski). Opcja 2: Po prostu zajmuje więcej czasu, aby poprawnie przejść do następnego kroku zwiększenia skali wstępnego szkolenia. Nie ma fundamentalnego ograniczenia; po prostu jeszcze tego nie wymyśliliśmy. Opcja 3: Brak ściany wstępnego szkolenia, tylko podstawowa ekonomia. Większość zadań, do których ludzie obecnie używają modeli, może nie wymagać większych modeli bazowych, więc skupienie się na użyteczności jest ważniejsze. Co jest wymagane dla AGI? Opcja 1: Wymagane są dalsze ulepszenia modelu bazowego. Opcja 2: RL to wszystko, czego potrzebujesz. Obecne modele bazowe będą się rozwijać, jeśli rzucimy na nie wystarczająco dużo RL. Terminy wydają się być dotknięte tylko wtedy, gdy ściana wstępnego szkolenia i więcej ulepszeń są wymagane. W innych przypadkach brak dużych aktualizacji. Osobiście uważam, że GPT-5 powinien być małą aktualizacją w kierunku wolniejszych ram czasowych, ale większość moich przekonań o krótkich ramach czasowych pochodzi z skalowania RL.