Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Taelin
Typ / Böj / HVM / INets / λCalculus
Lider du av chatbot-trötthet?
Är du frustrerad över att singulariteten avbröts?
Letar du efter något nytt som ger dig hopp?
Här är min vanföreställning, men "hey, it kinda makes sense" plan för att bygga superintelligens i mitt lilla indieforskningslabb
(obs: Jag byter noggrannhet mot pedagogik)
Först en bakgrund:
Jag är en 33-årig kille som tillbringat de senaste 22 åren med att programmera. genom tiden har jag ställt många frågor om datorernas natur och samlat på mig några ganska ... egendomlig... Insikter. För några år sedan byggde jag HVM, ett system som kan köra program i ett esoteriskt språk som kallas "Haskell" på GPU:n - ja, samma chip som fick djupinlärning att fungera och som utlöste hela den här AI-cykeln.
men hur relaterar Haskell till AI?
Tja, det är en lång historia. som de äldre kanske minns, på den tiden, var det vi kallade "AI" ... olik. För nästan 3 decennier sedan, för första gången någonsin, besegrade en dator världsmästaren i schack, vilket gav upphov till många debatter om AGI och singularitet - precis som idag!
Systemet, som fick namnet Deep Blue, skilde sig mycket från de modeller vi har idag. Den använde inte transformatorer. Den använde inte neurala nätverk alls. I själva verket fanns det ingen "modell". det var en ren "symbolisk AI", vilket betyder att det bara var en vanlig gammal algoritm, som skannade miljarder möjliga drag, snabbare och djupare än någon människa kunde, och slog oss med ren råstyrka.
Detta utlöste en våg av lovande symbolisk AI-forskning. evolutionära algoritmer, kunskapsgrafer, automatiserad teorembevisning, SAT/SMT-lösare, villkorslösare, expertsystem och mycket mer. Tyvärr gick tillvägagångssättet in i väggen med tiden. Handbyggda regler skalades inte, symboliska system kunde inte *lära sig* dynamiskt och bubblan sprack. en ny AI-vinter har börjat.
Det var först flera år senare som en märklig kombination av faktorer förändrade allt. Forskarna dammade av en gammal idé – neurala nätverk – men den här gången hade de något nytt: GPU:er. Dessa grafikkretsar, som ursprungligen byggdes för rendering av videospel, visade sig vara perfekta för de massiva matrismultiplikationer som neurala nät krävde. Plötsligt kunde det som tog veckor göras på några timmar. Djupinlärning exploderade, och här är vi idag, med transformatorer som äter upp världen.
men så här är det: vi har bara portat *en* gren av AI till GPU:er - den konnektiva, numeriska. Den symboliska sidan? den har fortfarande fastnat i CPU-stenåldern.
Haskell är ett speciellt språk, eftersom det förenar bevisspråket (dvs. idiomet som matematiker använder för att uttrycka satser) med programmeringsspråket (dvs. det som utvecklare använder för att bygga appar). Detta gör den unikt lämpad för symboliska resonemang - exakt den typ av beräkning som Deep Blue använde, men nu kan vi köra den massivt parallellt på modern hårdvara.
(för att vara mer exakt, bara massiv GPU-parallellitet är inte det enda som HVM tillför. det visar sig att det också resulterar i *asymptotiska* uppsnabbningar i vissa fall. och detta är en viktig anledning att tro på vårt tillvägagångssätt: tidigare symboliska metoder var inte bara beräkningsmässigt svältfödda. de var exponentiellt långsamma, i algoritmisk mening. Inte undra på att de inte fungerade. De hade ingen chans att göra det.)
min tes är enkel: nu när jag kan köra Haskell på GPU:er, och med tanke på denna asymptotiska hastighetsökning, är jag i en position där jag kan återuppliva dessa gamla symboliska AI-metoder, skala upp dem i storleksordningar och se vad som händer. Kanske, bara kanske, kommer någon av dem att överraska oss.
Vår första milstolpe är redan i rörelse: vi har byggt världens snabbaste program/proof synthesizer, som jag kallar SupGen. eller NeoGen. eller QuickGen? Vi kommer att släppa det som en uppdatering av vårt "Bend"-språk, vilket gör det offentligt tillgängligt runt slutet av oktober.
Sedan, senare i år, kommer vi att använda det som grund för ett nytt forskningsprogram, där vi söker en ren symbolisk arkitektur som faktiskt kan lära sig av data och bygga generaliseringar - inte genom gradient descent och backpropagation, utan genom logiskt resonemang och programsyntes.
våra första experiment kommer att vara mycket enkla (inte helt olikt GPT-2), och den viktigaste milstolpen skulle vara att ha ett "verktyg för slutförande av nästa token" som är 100 % fritt från neurala nät.
Om detta fungerar kan det vara ett banbrytande steg bortom transformatorer och djupinlärning, eftersom det är ett helt nytt tillvägagångssätt som med största sannolikhet skulle göra sig av med många GPT-ärvda begränsningar som AI har idag. inte bara tokenizer-problem (som R:en i strawberry), utan grundläggande problem som hindrar GPT:er från att lära sig effektivt och generalisera
Vanföreställningar? troligtvis
Värt att prova? absolut
(gissa nu hur mycket som var AI-genererat, och vilken modell jag använde)
25,95K
när (om) den första symboliska AI:n fungerar kommer det att bli en helt ny kurva
Jag påstår inte ens att det kommer att bli bra, men det är en ny kurva
all intuition vi har för att skala LLM:er är helt irrelevant här. LLM-begränsningar är också irrelevanta. Ingen vet vad som kan hända

Amjad Masad8 aug. 13:57
Kan inte låta bli att känna den förkrossande tyngden av minskande avkastning. Vi behöver en ny S-kurva.
20,08K
när (om) den första symboliska AI:n fungerar kommer det att bli en helt ny kurva
Jag påstår inte ens att det kommer att bli bra, men det är en ny kurva
all intuition vi har för att skala LLM:er är helt irrelevant här. LLM-begränsningar är helt irrelevanta här. Ingen vet vad som kan hända

Amjad Masad8 aug. 13:57
Kan inte låta bli att känna den förkrossande tyngden av minskande avkastning. Vi behöver en ny S-kurva.
315
Japp, ingen modell i världen kommer i närheten av detta
går och lägger sig 100% säker på att jag har rätt i min bedömning
som alltid kommer detta snart att vara sunt förnuft, men jag sa det först (:
Vi ses

Taelin8 aug. 08:27
Åh, jag märkte precis att GPT-5:s lösning är identisk med min.
Det här är otroligt
39,84K
nej du har alla fel, GPT-5 är ett språng
Jag fördubblar till 100% här nere
Jag ville inte posta för snabbt och ångra det igen, men det löste bara en massa väldigt, väldigt svåra felsökningsuppmaningar som tidigare var olösta (av AI), och designade sedan ett underbart pixlat Gameboy-spel med en detaljnivå och kvalitet som helt klart är bortom allt annat jag någonsin sett.
Det finns inget sätt att den här modellen är dålig.
Jag tror att ni alla är traumatiserade av benchmaxxers, och överkompenserar mot en modell som faktiskt är bra. Jag tror också att du underskattar gpt-oss styrkor (men ja, mitt senaste inlägg var förhastat)
Jag vet fortfarande inte om det är användbart för seriös programmering dock (o3 var inte), men det verkar så? En kodningsmodell som är lika tillförlitlig som Opus, men ändå smartare än o3, skulle helt förändra mitt arbetsflöde. Opus behöver dock inte tänkas för att vara bra, så det kan väga till dess fördel.
För vad det är värt, jag använde egentligen bara 3 modeller:
- Opus 4.1 för kodning
- Gemini 2.5 mycket sällan för kodning när Opus misslyckas
- O3 för allt utom kodning
96,77K
Topp
Rankning
Favoriter
Trendande på kedjan
Trendande på X
Senaste toppfinansieringarna
Mest anmärkningsvärda