Myslím, že GPT-5 by měl být jen malou aktualizací proti krátkým časovým lhůtám. EPOCH tvrdí, že GPT-5 není založen na škálování základního modelu. Předpokládejme, že je to pravda. Co to vypovídá o předtréninku? Varianta 1: předtréninkové škálování narazilo na zeď (nebo alespoň výrazně snížilo zisky). Možnost 2: Jen to trvá déle, než se další krok před školením správně udělá. Neexistuje žádný fundamentální limit; jen jsme na to ještě nepřišli. Varianta 3: Žádná předtréninková stěna, jen základní ekonomie. Většina úkolů, pro které lidé používají modely právě teď, nemusí vyžadovat větší základní modely, takže je důležitější zaměřit se na použitelnost. Co je vyžadováno pro AGI? Možnost 1: Jsou vyžadována další vylepšení základního modelu. Možnost 2: RL je vše, co potřebujete. Současné základní modely se budou škálovat až do konce, pokud na ně přihodíme dostatek RL. Časové osy se zdají být ovlivněny pouze v případě, že je vyžadována předtréninková stěna a další vylepšení. Ve všech ostatních světech žádné velké aktualizace. Osobně si myslím, že GPT-5 by měla být malou aktualizací směrem k pomalejším časovým liniím, ale většina mých přesvědčení o krátké časové ose stejně pochází ze škálování RL.