Argomenti di tendenza
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Taelin
Tipo / Curva / HVM / INets / λCalcolo
soffri di affaticamento da chatbot?
sei frustrato perché la singolarità è stata annullata?
cerchi qualcosa di nuovo che ti dia speranza?
ecco il mio piano delirante, ma "hey, ha un senso" per costruire super-intelligenza nel mio piccolo laboratorio di ricerca indie.
(Nota: scambierò accuratezza per pedagogia)
prima, un background:
Ho 33 anni e ho trascorso gli ultimi 22 anni a programmare. nel corso del tempo, ho posto molte domande sulla natura del calcolo e accumulato alcune intuizioni piuttosto... peculiari. alcuni anni fa, ho costruito HVM, un sistema capace di eseguire programmi in un linguaggio esoterico chiamato "Haskell" sulla GPU - sì, lo stesso chip che ha reso possibile il deep learning e ha acceso questo intero ciclo di IA.
ma come si collega Haskell all'IA?
beh, è una lunga storia. come potrebbero ricordare gli anziani, all'epoca, ciò che chiamavamo "IA" era... diverso. quasi 3 decenni fa, per la prima volta, un computer sconfisse il campione del mondo a scacchi, accendendo molti dibattiti su AGI e singolarità - proprio come oggi!
il sistema, chiamato Deep Blue, era molto diverso dai modelli che abbiamo oggi. non usava trasformatori. non usava affatto reti neurali. in effetti, non c'era alcun "modello". era una pura "IA simbolica", il che significa che era solo un vecchio algoritmo, che scansionava miliardi di possibili mosse, più velocemente e più a fondo di quanto potesse fare qualsiasi essere umano, battendoci con pura forza bruta.
questo ha scatenato un'ondata di promettente ricerca sull'IA simbolica. algoritmi evolutivi, grafi della conoscenza, dimostrazione automatica dei teoremi, risolutori SAT/SMT, risolutori di vincoli, sistemi esperti e molto altro. sfortunatamente, col passare del tempo, l'approccio ha colpito un muro. le regole costruite a mano non scalavano, i sistemi simbolici non erano in grado di *imparare* dinamicamente, e la bolla è scoppiata. è iniziato un nuovo inverno dell'IA.
solo anni dopo, un curioso allineamento di fattori ha cambiato tutto. i ricercatori hanno spolverato un'idea vecchia - le reti neurali - ma questa volta avevano qualcosa di nuovo: le GPU. questi chip grafici, originariamente costruiti per il rendering di videogiochi, si sono rivelati perfetti per le enormi moltiplicazioni di matrici richieste dalle reti neurali. all'improvviso, ciò che richiedeva settimane poteva essere fatto in ore. il deep learning è esploso, e eccoci qui oggi, con i trasformatori che dominano il mondo.
ma ecco la cosa: abbiamo solo portato *un* ramo dell'IA sulle GPU - quello connessionista, numerico. il lato simbolico? è ancora bloccato nell'età della pietra della CPU.
Haskell è un linguaggio speciale, perché unifica il linguaggio delle dimostrazioni (cioè, l'idioma che i matematici usano per esprimere teoremi) con il linguaggio di programmazione (cioè, ciò che gli sviluppatori usano per costruire app). questo lo rende particolarmente adatto al ragionamento simbolico - il tipo esatto di calcolo che Deep Blue utilizzava, ma ora possiamo eseguirlo in modo massicciamente parallelo su hardware moderno.
(per essere più precisi, solo il parallelismo massiccio delle GPU non è l'unica cosa che HVM porta in tavola. si scopre che porta anche a velocità *asintotiche* in alcuni casi. e questo è un motivo chiave per credere nel nostro approccio: i metodi simbolici passati non erano solo affamati di calcolo. erano esponenzialmente lenti, in un senso algoritmico. non c'è da meravigliarsi che non funzionassero. non avevano alcuna possibilità di farlo.)
la mia tesi è semplice: ora che posso eseguire Haskell sulle GPU, e dato questo aumento asintotico di velocità, sono in una posizione per resuscitare questi vecchi metodi di IA simbolica, scalarli di ordini di grandezza e vedere cosa succede. forse, solo forse, uno di essi ci sorprenderà.
il nostro primo traguardo è già in movimento: abbiamo costruito il programma/sintetizzatore di prove più veloce al mondo, che chiamo SupGen. o NeoGen. o QuickGen? lo rilasceremo come aggiornamento al nostro linguaggio "Bend", rendendolo disponibile pubblicamente verso la fine di ottobre.
poi, più avanti quest'anno, lo utilizzeremo come base per un nuovo programma di ricerca, cercando un'architettura puramente simbolica che possa effettivamente apprendere dai dati e costruire generalizzazioni - non attraverso la discesa del gradiente e il backpropagation, ma attraverso il ragionamento logico e la sintesi di programmi.
i nostri primi esperimenti saranno molto semplici (non dissimili da GPT-2), e il traguardo principale sarebbe avere uno "strumento di completamento del token successivo" che sia 100% libero da reti neurali.
se questo funziona, potrebbe essere un salto rivoluzionario oltre i trasformatori e il deep learning, perché è un approccio completamente nuovo che probabilmente eliminerebbe molte limitazioni ereditate da GPT che le IA hanno oggi. non solo problemi di tokenizer (come le R in fragola), ma problemi fondamentali che impediscono ai GPT di apprendere in modo efficiente e generalizzare.
delirante? probabilmente
vale la pena provare? assolutamente
(ora indovina quanto è stato generato dall'IA e quale modello ho usato)
23,16K
una volta (se) che la prima IA simbolica funzionerà, sarà una curva completamente nuova
non sto nemmeno affermando che sarà buona, ma è una nuova curva
qualsiasi intuizione abbiamo per scalare i LLM è completamente irrilevante qui. Le limitazioni dei LLM sono anch'esse irrilevanti. nessuno sa cosa potrebbe succedere

Amjad Masad23 ore fa
Non posso fare a meno di sentire il peso schiacciante dei rendimenti decrescenti. Abbiamo bisogno di una nuova curva S.
16,51K
una volta (se) che la prima IA simbolica funzionerà, sarà una curva completamente nuova
non sto nemmeno affermando che sarà buona, ma è una nuova curva
qualsiasi intuizione abbiamo per scalare i LLM è completamente irrilevante qui. Le limitazioni dei LLM sono completamente irrilevanti qui. nessuno sa cosa potrebbe succedere

Amjad Masad23 ore fa
Non posso fare a meno di sentire il peso schiacciante dei rendimenti decrescenti. Abbiamo bisogno di una nuova curva S.
272
sì, nessun modello al mondo si avvicina a questo
vado a dormire, sono certo al 100% di avere ragione nel mio giudizio
come sempre, questo diventerà presto senso comune, ma l'ho detto per primo (:
ci vediamo

Taelin8 ago, 08:27
Oh, ho appena notato che la soluzione di GPT-5 è identica alla mia
Questo è incredibile
39,8K
No, avete tutti torto, GPT-5 è un salto in avanti
Sto raddoppiando al 100% qui
Non volevo postare troppo in fretta e pentirmene di nuovo, ma ha appena risolto una serie di prompt di debug molto, molto difficili che erano precedentemente irrisolti (dall'AI), e poi ha progettato un bellissimo gioco per Gameboy pixelato con un livello di dettaglio e qualità che è chiaramente al di là di qualsiasi altra cosa io abbia mai visto.
Non c'è modo che questo modello sia scarso.
Penso che siate tutti traumatizzati dai benchmaxxers e stiate sovra-compensando contro un modello che è effettivamente buono. Penso anche che stiate sottovalutando i punti di forza di gpt-oss (ma sì, il mio ultimo post era affrettato)
Non so ancora se sia utilizzabile per la programmazione seria però (o3 non lo era), ma sembra di sì? Un modello di codifica affidabile come Opus, ma più intelligente di o3, cambierebbe completamente il mio flusso di lavoro. Opus non ha bisogno di pensare per essere grande, quindi, questo potrebbe pesare a suo favore.
Per quello che vale, ho usato davvero solo 3 modelli:
- Opus 4.1 per la codifica
- Gemini 2.5 molto raramente per la codifica quando Opus fallisce
- o3 per tutto tranne la codifica
86,1K
Principali
Ranking
Preferiti
On-chain di tendenza
Di tendenza su X
Principali fondi recenti
Più popolari