Dlaczego powinieneś przestać pracować nad badaniami RL i zamiast tego zająć się produktem // Technologią, która zapoczątkowała wielką zmianę w skali sztucznej inteligencji, jest internet, a nie transformatory Myślę, że powszechnie wiadomo, że dane są najważniejszą rzeczą w sztucznej inteligencji, a także, że naukowcy i tak nie chcą nad nimi pracować. ... Co to znaczy pracować na danych (w sposób skalowalny)? Internet był bogatym źródłem obfitych danych, które były różnorodne, zapewniały naturalny program nauczania, reprezentowały kompetencje, na których ludziom naprawdę zależy, i były ekonomicznie opłacalną technologią do wdrożenia na dużą skalę -- stały się idealnym uzupełnieniem prognoz na poziomie kolejnym i były pierwotną zupą, której mogła wystartować sztuczna inteligencja. Bez transformatorów można by wystartować na wiele podejść, prawdopodobnie moglibyśmy mieć CNN lub modele przestrzeni stanów na poziomie GPT-4.5. Ale od czasu GPT-4 nie nastąpiła radykalna poprawa w modelach podstawowych. Modele rozumowania świetnie sprawdzają się w wąskich dziedzinach, ale nie tak ogromnym skokiem, jak GPT-4 w marcu 2023 roku (ponad 2 lata temu...) Mamy coś wspaniałego z uczeniem się przez wzmacnianie, ale głęboko boję się, że powtórzymy błędy z przeszłości (RL z lat 2015-2020) i przeprowadzimy badania nad RL, które nie mają znaczenia. W sposób, w jaki internet był podwójnym nadzorowanym treningiem wstępnym, jaka będzie dwójność RL, która doprowadzi do ogromnego postępu, takiego jak GPT-1 -> GPT-4? Myślę, że wygląda to na wspólne projektowanie badań i produktów.