Trápí vás únava z chatbota? Jste frustrovaní, že singularita byla zrušena? Hledáte něco nového, co by vám dalo naději? Zde je můj klamný, ale "hej, to dává smysl" plán vybudovat superinteligenci v mé malé nezávislé výzkumné laboratoři (poznámka: vyměním přesnost za pedagogiku) Nejprve pozadí: Je mi 33 let a strávil posledních 22 let programováním. v průběhu času jsem položil mnoho otázek o povaze výpočetní techniky a nashromáždil jsem některé docela... zvláštní... vhledy. před několika lety jsem na GPU postavil HVM, systém schopný spouštět programy v esoterickém jazyce zvaném "Haskell" – ano, stejný čip, který umožnil hluboké učení a zažehl celý tento cyklus umělé inteligence. ale jak souvisí Haskell s umělou inteligencí? no, to je dlouhý příběh. jak si stařešinové možná pamatují, tenkrát jsme říkali "AI" bylo... jiný. Téměř před 3 desetiletími, poprvé v historii, počítač porazil mistra světa v šachu, což vyvolalo rozruch mnoha debat o AGI a singularitě - stejně jako dnes! systém, pojmenovaný Deep Blue, se velmi lišil od modelů, které známe dnes. Nepoužívala transformátory. Neuronové sítě vůbec nepoužíval. Ve skutečnosti žádný "model" neexistoval. byla to čistá "symbolická umělá inteligence", což znamená, že to byl jen obyčejný starý algoritmus, který skenoval miliardy možných tahů, rychleji a hlouběji, než by to dokázal jakýkoli člověk, a porazil nás čistou hrubou silou. to vyvolalo vlnu slibného výzkumu symbolické umělé inteligence. evoluční algoritmy, znalostní grafy, automatické dokazování teorémů, SAT/SMT řešiče, řešiče omezení, expertní systémy a mnoho dalšího. Bohužel, postupem času tento přístup narazil na zeď. Ručně vytvořená pravidla se neškálovala, symbolické systémy se nedokázaly *učit* dynamicky a bublina praskla. začala nová zima v oblasti umělé inteligence. Teprve o několik let později se všechno změnilo díky podivnému souběhu faktorů. Výzkumníci oprášili starou myšlenku - neuronové sítě - ale tentokrát přišli s něčím novým: GPU. Tyto grafické čipy, původně vytvořené pro vykreslování videoher, se ukázaly být perfektní pro masivní násobení matic, které neuronové sítě vyžadovaly. To, co trvalo týdny, se najednou dalo udělat během několika hodin. Hluboké učení explodovalo a dnes jsme tady, s transformátory, které požírají svět. ale jde o toto: portovali jsme pouze *jednu* větev umělé inteligence na GPU - konekcionistickou, numerickou. Symbolická stránka? stále je zaseknutý v době kamenné CPU. Haskell je speciální jazyk, protože sjednocuje jazyk důkazů (tj. idiom, který matematici používají k vyjádření vět) s jazykem programování (tj. to, co vývojáři používají k vytváření aplikací). Díky tomu je jedinečně vhodný pro symbolické uvažování - přesně ten druh výpočtu, který používal Deep Blue, ale nyní jej můžeme spustit masivně paralelně na moderním hardwaru. (Abychom byli přesnější, masivní paralelismus GPU není to jediné, co HVM přináší. ukazuje se, že v některých případech vede také k *asymptotickému* zrychlení. A to je klíčový důvod, proč věřit v náš přístup: Minulé symbolické metody nebyly jen výpočetně vyhladovělé. Byly exponenciálně pomalé, v algoritmickém smyslu. Není divu, že nefungovaly. neměly šanci.) moje teze je jednoduchá: teď, když mohu provozovat Haskell na GPU a vzhledem k tomuto asymptotickému zrychlení, jsem v pozici, kdy mohu vzkřísit tyto staré symbolické metody umělé inteligence, zvětšit je o řády a sledovat, co se stane. Možná, jen možná, nás některá z nich překvapí. náš první milník je již v pohybu: postavili jsme nejrychlejší programový/důkazový syntezátor na světě, kterému říkám SupGen. nebo NeoGen. nebo QuickGen? vydáme ji jako aktualizaci našeho jazyka "Bend", takže bude veřejně dostupná přibližně koncem října. Později, v tomto roce, ji použijeme jako základ pro nový výzkumný program, který bude hledat čistě symbolickou architekturu, která se může skutečně učit z dat a vytvářet zobecnění - ne prostřednictvím gradientního sestupu a zpětného šíření, ale prostřednictvím logického uvažování a syntézy programu. naše první experimenty budou velmi jednoduché (ne nepodobné GPT-2) a hlavním milníkem by bylo mít "další nástroj pro doplňování tokenů", který je 100% bez neuronových sítí. Pokud se to podaří, mohl by to být převratný skok za hranice transformátorů a hlubokého učení, protože se jedná o zcela nový přístup, který by se s největší pravděpodobností zbavil mnoha omezení zděděných po GPT, která dnes umělé inteligence mají. nejen problémy s tokenizátorem (jako je R ve strawberry), ale zásadní problémy, které brání GPT v efektivním učení a zobecňování šálivý? pravděpodobně Stojí za to vyzkoušet? naprosto (nyní hádejte, kolik toho bylo generováno umělou inteligencí a který model jsem použil)