Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Taelin
Soort / Bocht / HVM / INets / λCalculus
lijdt u aan chatbotmoeheid?
gefrustreerd dat de singulariteit is geannuleerd?
op zoek naar iets nieuws om u hoop te geven?
hier is mijn waanzinnige, maar "hé, het heeft een zekere logica" plan om superintelligentie te bouwen in mijn kleine indie onderzoekslaboratorium.
(opmerking: ik ruil nauwkeurigheid in voor pedagogiek)
eerst, een achtergrond:
ik ben een 33-jarige man die de afgelopen 22 jaar heeft geprogrammeerd. in die tijd heb ik veel vragen gesteld over de aard van computing en heb ik enkele vrij... eigenaardige... inzichten verzameld. een paar jaar geleden heb ik HVM gebouwd, een systeem dat in staat is om programma's uit te voeren in een esoterische taal genaamd "Haskell" op de GPU - ja, dezelfde chip die deep learning mogelijk maakte en deze hele AI-cyclus op gang bracht.
maar hoe verhoudt Haskell zich tot AI?
nou, dat is een lang verhaal. zoals de ouderen zich misschien herinneren, was wat we toen "AI" noemden... anders. bijna 3 decennia geleden, voor de eerste keer ooit, versloeg een computer de wereldkampioen schaken, wat veel debatten over AGI en singulariteit op gang bracht - net als vandaag!
dit systeem, genaamd Deep Blue, was heel anders dan de modellen die we vandaag hebben. het gebruikte geen transformers. het gebruikte helemaal geen neurale netwerken. in feite was er geen "model". het was een pure "symbolische AI", wat betekent dat het gewoon een ouderwets algoritme was, dat miljarden mogelijke zetten scande, sneller en dieper dan een mens ooit zou kunnen, en ons versloeg door pure brute kracht.
dit leidde tot een golf van veelbelovende symbolische AI-onderzoek. evolutionaire algoritmen, kennisgrafieken, geautomatiseerd bewijsvoering, SAT/SMT-oplossers, constraint-oplossers, expert systemen, en nog veel meer. helaas stuitte de aanpak na verloop van tijd op een muur. handmatig gebouwde regels schalen niet, symbolische systemen waren niet in staat om *dynamisch* te leren, en de bubbel barstte. er begon een nieuwe AI-winter.
pas jaren later veranderde een nieuwsgierige samenloop van factoren alles. onderzoekers bliezen een oud idee nieuw leven in - neurale netwerken - maar deze keer hadden ze iets nieuws: GPU's. deze grafische chips, oorspronkelijk gebouwd voor het renderen van videospellen, bleken perfect te zijn voor de enorme matrixvermenigvuldigingen die neurale netwerken vereisten. plotseling kon wat weken duurde in enkele uren worden gedaan. deep learning explodeerde, en hier zijn we vandaag, met transformers die de wereld veroveren.
maar hier is het punt: we hebben slechts *één* tak van AI naar GPU's overgezet - de connectionistische, numerieke. de symbolische kant? die zit nog steeds vast in de CPU-steentijd.
Haskell is een speciale taal, omdat het de taal van bewijzen (d.w.z. de idiomatiek die wiskundigen gebruiken om stellingen uit te drukken) verenigt met de taal van programmeren (d.w.z. wat ontwikkelaars gebruiken om apps te bouwen). dit maakt het bij uitstek geschikt voor symbolisch redeneren - het exacte soort berekening dat deep blue gebruikte, maar nu kunnen we het massaal parallel uitvoeren op moderne hardware.
(om nauwkeuriger te zijn, is alleen massale GPU-parallelisme niet het enige dat HVM te bieden heeft. het blijkt ook te resulteren in *asymptotische* versnellingen in sommige gevallen. en dit is een belangrijke reden om in onze aanpak te geloven: eerdere symbolische methoden waren niet alleen computationeel tekort. ze waren exponentieel traag, in algorithmische zin. geen wonder dat ze niet werkten. ze hadden geen kans.)
mijn stelling is eenvoudig: nu ik Haskell op GPU's kan draaien, en gezien deze asymptotische versnelling, ben ik in een positie om deze oude symbolische AI-methoden nieuw leven in te blazen, ze met een orde van grootte op te schalen en te zien wat er gebeurt. misschien, heel misschien, zal een van hen ons verrassen.
ons eerste mijlpaal is al in beweging: we hebben 's werelds snelste programma/bewijs-synthesizer gebouwd, die ik SupGen noem. of NeoGen. of QuickGen? we zullen het uitbrengen als een update voor onze "Bend"-taal, die rond eind oktober openbaar beschikbaar zal zijn.
vervolgens zullen we later dit jaar het gebruiken als basis voor een nieuw onderzoeksprogramma, dat een pure symbolische architectuur zoekt die daadwerkelijk van gegevens kan leren en generalisaties kan bouwen - niet door middel van gradient descent en backpropagation, maar door middel van logisch redeneren en programma-synthese.
onze eerste experimenten zullen heel eenvoudig zijn (niet ongewoon voor GPT-2), en de belangrijkste mijlpaal zou zijn om een "next token completion tool" te hebben die 100% vrij is van neurale netwerken.
als dit werkt, zou het een baanbrekende sprong kunnen zijn voorbij transformers en deep learning, omdat het een geheel nieuwe aanpak is die waarschijnlijk veel van de door GPT geërfde beperkingen die AI's vandaag hebben, zou kunnen elimineren. niet alleen tokenizerproblemen (zoals de R's in aardbei), maar fundamentele problemen die voorkomen dat GPT's efficiënt leren en generaliseren.
waanzinnig? waarschijnlijk
waard om te proberen? absoluut
(raad nu hoeveel er AI-gegenereerd was, en welk model ik gebruikte)
15,17K
eenmaal (als) de eerste symbolische AI werkt, zal het een geheel nieuwe curve zijn
ik beweer niet eens dat het goed zal zijn, maar het is een nieuwe curve
elke intuïtie die we hebben voor het schalen van LLM's is hier volledig irrelevant. De beperkingen van LLM's zijn ook irrelevant. Niemand weet wat er kan gebeuren

Amjad Masad18 uur geleden
Ik kan niet anders dan het verpletterende gewicht van afnemende rendementen voelen. We hebben een nieuwe S-curve nodig.
15,14K
eenmaal (als) de eerste symbolische AI werkt, zal het een geheel nieuwe curve zijn
ik beweer niet eens dat het goed zal zijn, maar het is een nieuwe curve
elke intuïtie die we hebben voor het schalen van LLM's is hier volledig irrelevant. LLM-beperkingen zijn hier volledig irrelevant. niemand weet wat er kan gebeuren

Amjad Masad18 uur geleden
Ik kan niet anders dan het verpletterende gewicht van afnemende rendementen voelen. We hebben een nieuwe S-curve nodig.
262
ja, geen enkel model ter wereld komt in de buurt van dit
ik ga slapen, 100% zeker dat ik gelijk heb in mijn oordeel
zoals altijd, dit zal snel gezond verstand zijn, maar ik zei het eerst (:
tot ziens

Taelin23 uur geleden
Oh, ik heb net opgemerkt dat de oplossing van GPT-5 identiek is aan die van mij
Dit is ongelooflijk
36,28K
Nee, jullie hebben allemaal ongelijk, GPT-5 is een sprongetje
Ik zet hier 100% in
Ik wilde niet te snel posten en er weer spijt van krijgen, maar het heeft zojuist een aantal zeer, zeer moeilijke debugging prompts opgelost die eerder onoplosbaar waren (door AI), en vervolgens een prachtige pixelachtige Gameboy-game ontworpen met een niveau van detail en kwaliteit dat duidelijk verder gaat dan alles wat ik ooit heb gezien.
Er is geen manier dat dit model slecht is.
Ik denk dat jullie allemaal getraumatiseerd zijn door benchmaxxers, en overcompensatie tegen een model dat eigenlijk goed is. Ik denk ook dat jullie de sterke punten van gpt-oss onderschatten (maar ja, mijn laatste post was gehaast)
Ik weet nog steeds niet of het bruikbaar is voor serieuze programmering (o3 was dat niet), maar het lijkt zo? Een coderingsmodel dat net zo betrouwbaar is als Opus, maar slimmer dan o3, zou mijn workflow volledig veranderen. Opus heeft geen nadenken nodig om geweldig te zijn, dus dat zou in zijn voordeel kunnen wegen.
Voor wat het waard is, heb ik eigenlijk maar 3 modellen gebruikt:
- Opus 4.1 voor coderen
- Gemini 2.5 heel zelden voor coderen wanneer Opus faalt
- o3 voor alles behalve coderen
86,09K
Nee, jullie hebben allemaal ongelijk, GPT-5 is een sprongetje
Ik zet hier 100% in
Ik wilde niet te snel posten en er spijt van krijgen, maar het heeft zojuist een heleboel zeer, zeer moeilijke debugging prompts opgelost die eerder niet opgelost waren (door AI), en vervolgens een prachtige pixelachtige Gameboy-game ontworpen met een niveau van detail en kwaliteit dat duidelijk verder gaat dan alles wat ik ooit heb gezien.
Er is geen manier dat dit model slecht is.
Ik denk dat jullie allemaal getraumatiseerd zijn door benchmaxxers, en overcompensatie tegen een model dat eigenlijk echt goed is. Ik denk ook dat jullie de sterke punten van gpt-oss onderschatten (maar ja, mijn laatste post was gehaast)
Ik weet nog steeds niet of het bruikbaar is voor serieuze programmering, hoewel (4o, o3 waren dat zeker niet), maar het lijkt zo? Een coderingsmodel dat net zo betrouwbaar is als Opus, maar slimmer dan o3, zou mijn workflow volledig veranderen. Opus heeft geen nadenken nodig om geweldig te zijn, dus dat zou in zijn voordeel kunnen wegen.
Voor wat het waard is, heb ik eigenlijk maar 3 modellen gebruikt:
- Opus 4.1 voor coderen
- Gemini 2.5 heel zelden voor coderen wanneer Opus faalt
- o3 voor alles behalve coderen
603
Boven
Positie
Favorieten
Populair op onchain
Populair op X
Recente topfinanciering
Belangrijkste