Bună postare de la @balajis despre "decalajul de verificare". Ați putea vedea că există două moduri în creație. Împrumutarea terminologiei GAN: 1) generarea și 2) discriminare. De exemplu, pictura - faci o tușă de pensulă (1) și apoi cauți o vreme pentru a vedea dacă ai îmbunătățit pictura (2). Aceste două etape sunt intercalate în aproape toate lucrările creative. Al doilea punct. Discriminarea poate fi foarte dificilă din punct de vedere computațional. - imaginile sunt de departe cele mai ușoare. De exemplu, echipele de generator de imagini pot crea grile uriașe de rezultate pentru a decide dacă o imagine este mai bună decât cealaltă. mulțumesc GPU-ului gigantic din creierul tău construit pentru procesarea imaginilor foarte rapid. - textul este mult mai greu. Este ușor de parcurs, dar trebuie să citești, este semantic, discret și precis, așa că trebuie să raționezi și (mai ales în cod). - Sunetul este poate și mai greu IMO, pentru că forțează o axă de timp, astfel încât nici măcar nu poate fi parcurs. ești forțat să cheltuiești calcul serial și nu îl poți paraleliza deloc. S-ar putea spune că în codificare LLM-urile s-au prăbușit (1) la ~instant, dar au făcut foarte puțin pentru a aborda (2). O persoană trebuie să se uite la rezultate și să discrimineze dacă sunt bune. Aceasta este critica mea majoră la adresa codării LLM prin faptul că scuipă cu ușurință *mult* prea mult cod pe interogare la o complexitate arbitrară, pretinzând că nu există etapa 2. Să obții atât de mult cod este rău și înfricoșător. În schimb, LLM trebuie să lucreze activ cu tine pentru a împărți problemele în mici pași incrementali, fiecare mai ușor de verificat. Trebuie să anticipeze munca de calcul a lui (2) și să o reducă cât mai mult posibil. Trebuie să-i pese cu adevărat. Acest lucru mă duce probabil la cea mai mare neînțelegere pe care non-programatorii o au despre codare. Ei cred că codificarea înseamnă scrierea codului (1). Nu este. Este vorba despre a te uita la cod (2). Încărcarea tuturor în memoria de lucru. Mergând înainte și înapoi. Gândindu-mă la toate cazurile limită. Dacă mă surprinzi la întâmplare în timp ce "programez", probabil că mă uit la ecran și, dacă sunt întrerupt, sunt foarte supărat pentru că este atât de obositor din punct de vedere computațional. Dacă obținem doar mult mai repede 1, dar nu reducem și 2 (ceea ce este de cele mai multe ori!), atunci în mod clar viteza generală de codificare nu se va îmbunătăți (vezi legea lui Amdahl).