Perché GPT 5 sembra un progresso lineare: nell'IA, ci vogliono guadagni esponenziali in termini di calcolo e dati di addestramento per produrre guadagni lineari. Il calcolo impiegato nell'addestramento è aumentato in modo insostenibile (raddoppiando a un ritmo di 3 volte la Legge di Moore). I dati testuali per il pre-addestramento sono quasi esauriti. GPT5 è un chiaro miglioramento. E non dovrebbe sorprendere nessuno che i miglioramenti sembrino lineari - perché in gran parte lo sono. Ci saranno nuovi paradigmi che forniranno funzioni a gradini e piegheranno la curva (come ha fatto il ragionamento). Ma il paradigma attuale mostra rendimenti decrescenti. L'IA è fantastica, per essere chiari. È un regalo incredibile. Sta già trasformando il nostro mondo. Ma le narrazioni di decollo rapido, progresso esponenziale e auto-miglioramento ricorsivo si scontrano con i rendimenti decrescenti / la difficoltà esponenziale di avanzare in quelle leggi di scalabilità.
1,56K