Waarom GPT 5 aanvoelt als een lineaire vooruitgang: In AI zijn exponentiële winsten in rekenkracht en trainingsdata nodig om lineaire winsten te produceren. De rekenkracht die aan training wordt besteed, stijgt onhoudbaar (verdubbelt met een snelheid van 3x Moore's Law). Tekstdata voor pre-training is bijna uitgeput. GPT5 is een duidelijke verbetering. En het zou niemand moeten verrassen dat de verbeteringen lineair aanvoelen - omdat ze dat grotendeels zijn. Er zullen nieuwe paradigma's zijn die stapfuncties bieden en de curve buigen (zoals redeneren deed). Maar het huidige paradigma toont afnemende rendementen. AI is geweldig, om duidelijk te zijn. Het is een ongelooflijk geschenk. Het transformeert onze wereld al. Maar snelle opkomst, exponentiële vooruitgang, verhalen over zelfverbetering stuiten op de afnemende rendementen / exponentiële moeilijkheid van het opschalen van die wetten.
1,7K