Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Taelin
Rodzaj / Zagięcie / HVM / ODLEGŁOŚCI / λRachunek różniczkowy
cierpisz na zmęczenie chatbotami?
frustruje cię, że singularność została odwołana?
szukasz czegoś nowego, co da ci nadzieję?
oto mój urojony, ale "hej, to ma sens" plan na zbudowanie superinteligencji w moim małym niezależnym laboratorium badawczym
(uwaga: wymienię dokładność na pedagogikę)
najpierw, tło:
Mam 33 lata i spędziłem ostatnie 22 lata na programowaniu. W tym czasie zadawałem wiele pytań o naturę obliczeń i zgromadziłem dość... osobliwe... spostrzeżenia. Kilka lat temu zbudowałem HVM, system zdolny do uruchamiania programów w ezoterycznym języku zwanym "Haskell" na GPU - tak, tym samym chipie, który umożliwił działanie głębokiego uczenia i zapoczątkował ten cały cykl AI.
ale jak Haskell ma się do AI?
cóż, to długa historia. jak mogą pamiętać starsi, wtedy to, co nazywaliśmy "AI", było... inne. niemal 3 dekady temu, po raz pierwszy w historii, komputer pokonał mistrza świata w szachach, wzbudzając wiele debat na temat AGI i singularności - tak jak dzisiaj!
system, nazwany Deep Blue, był bardzo różny od modeli, które mamy dzisiaj. nie używał transformerów. w ogóle nie używał sieci neuronowych. w rzeczywistości nie było "modelu". to była czysta "symboliczna AI", co oznacza, że był to po prostu stary algorytm, który skanował miliardy możliwych ruchów, szybciej i głębiej niż jakikolwiek człowiek, pokonując nas czystą siłą.
to wzbudziło falę obiecujących badań nad symboliczną AI. algorytmy ewolucyjne, grafy wiedzy, automatyczne dowodzenie twierdzeń, rozwiązania SAT/SMT, rozwiązania ograniczeń, systemy ekspertowe i wiele więcej. niestety, z biegiem czasu podejście to napotkało ścianę. ręcznie budowane zasady nie skalowały się, systemy symboliczne nie były w stanie *uczyć się* dynamicznie, a bańka pękła. rozpoczęła się nowa zima AI.
dopiero lata później, ciekawy zbieg okoliczności zmienił wszystko. badacze odkurzyli starą ideę - sieci neuronowe - ale tym razem mieli coś nowego: GPU. te chipy graficzne, pierwotnie stworzone do renderowania gier wideo, okazały się idealne do masowych mnożeń macierzy, które wymagały sieci neuronowe. nagle to, co zajmowało tygodnie, mogło być zrobione w godziny. głębokie uczenie eksplodowało, a oto jesteśmy dzisiaj, z transformerami, które zjadają świat.
ale oto rzecz: przenieśliśmy tylko *jedną* gałąź AI na GPU - połączeniową, numeryczną. strona symboliczna? wciąż utknęła w epoce CPU.
Haskell to wyjątkowy język, ponieważ łączy język dowodów (tj. idiom, którego używają matematycy do wyrażania twierdzeń) z językiem programowania (tj. tym, co deweloperzy używają do budowania aplikacji). to sprawia, że jest on wyjątkowo odpowiedni do rozumowania symbolicznego - dokładnie tego rodzaju obliczeń, które wykorzystał Deep Blue, ale teraz możemy je uruchamiać masowo równolegle na nowoczesnym sprzęcie.
(żeby być bardziej precyzyjnym, sama masowa równoległość GPU nie jest jedyną rzeczą, którą HVM wnosi do stołu. okazuje się, że w niektórych przypadkach prowadzi to również do *asymptotycznych* przyspieszeń. i to jest kluczowy powód, by wierzyć w nasze podejście: przeszłe metody symboliczne nie były tylko obliczeniowo głodne. były eksponencjalnie wolne, w sensie algorytmicznym. nic dziwnego, że nie działały. nie miały szans.)
moja teza jest prosta: teraz, gdy mogę uruchamiać Haskella na GPU, a biorąc pod uwagę to asymptotyczne przyspieszenie, jestem w stanie wskrzesić te stare metody symbolicznej AI, skalować je o rzędy wielkości i zobaczyć, co się stanie. może, tylko może, jedna z nich nas zaskoczy.
nasz pierwszy kamień milowy jest już w ruchu: zbudowaliśmy najszybszy na świecie program/syntezator dowodów, który nazywam SupGen. albo NeoGen. albo QuickGen? wydamy go jako aktualizację naszego języka "Bend", udostępniając go publicznie około końca października.
potem, później w tym roku, wykorzystamy go jako podstawę nowego programu badawczego, poszukując czystej architektury symbolicznej, która może faktycznie uczyć się z danych i budować generalizacje - nie poprzez spadek gradientu i propagację wsteczną, ale poprzez rozumowanie logiczne i syntezę programów.
nasze pierwsze eksperymenty będą bardzo proste (nie inaczej niż GPT-2), a głównym kamieniem milowym będzie posiadanie narzędzia do "uzupełniania następnego tokena", które jest w 100% wolne od sieci neuronowych.
jeśli to zadziała, może to być przełomowy skok poza transformery i głębokie uczenie, ponieważ jest to całkowicie nowe podejście, które najprawdopodobniej pozbędzie się wielu ograniczeń dziedziczonych przez GPT, które mają dzisiaj AI. nie tylko problemy z tokenizacją (jak R w truskawce), ale fundamentalne problemy, które uniemożliwiają GPT efektywne uczenie się i generalizowanie.
deluzjonalny? prawdopodobnie
warto spróbować? absolutnie
(teraz zgadnij, ile było generowane przez AI i którego modelu użyłem)
15,16K
gdy tylko (jeśli) pierwsza symboliczna AI zacznie działać, będzie to zupełnie nowa krzywa
nawet nie twierdzę, że będzie dobra, ale to nowa krzywa
wszelka intuicja, jaką mamy na temat skalowania LLM, jest tutaj całkowicie nieistotna. Ograniczenia LLM również są nieistotne. Nikt nie wie, co może się wydarzyć.

Amjad Masad18 godz. temu
Nie mogę się oprzeć uczuciu przytłaczającej wagi malejących zwrotów. Potrzebujemy nowej krzywej S.
15,13K
gdy (jeśli) pierwsza symboliczna AI zacznie działać, będzie to zupełnie nowa krzywa
nawet nie twierdzę, że będzie dobra, ale to nowa krzywa
wszystkie intuicje, które mamy na temat skalowania LLM, są tutaj całkowicie nieistotne. ograniczenia LLM są tutaj całkowicie nieistotne. nikt nie wie, co może się wydarzyć

Amjad Masad18 godz. temu
Nie mogę się oprzeć uczuciu przytłaczającej wagi malejących zwrotów. Potrzebujemy nowej krzywej S.
258
tak, żaden model na świecie nie jest nawet blisko tego
idę spać, jestem w 100% pewny, że mam rację w swoim osądzie
jak zawsze, wkrótce to będzie powszechnym rozumieniem, ale to ja powiedziałem to pierwszy (:
do zobaczenia

Taelin23 godz. temu
O, właśnie zauważyłem, że rozwiązanie GPT-5 jest identyczne z moim.
To niesamowite.
36,28K
Nie, wszyscy się mylicie, GPT-5 to skok
Jestem w 100% pewny tego, co mówię
Nie chciałem publikować zbyt szybko i potem tego żałować, ale właśnie rozwiązał mnóstwo bardzo, bardzo trudnych zadań debugowania, które wcześniej były nierozwiązywalne (przez AI), a następnie zaprojektował wspaniałą pikselową grę na Gameboya z poziomem szczegółowości i jakości, który wyraźnie przewyższa wszystko, co kiedykolwiek widziałem.
Nie ma mowy, żeby ten model był zły.
Myślę, że wszyscy jesteście traumatyzowani benchmaxxerami i nadmiernie kompensujecie wobec modelu, który jest naprawdę dobry. Myślę też, że niedoceniacie mocnych stron gpt-oss (ale tak, mój ostatni post był pośpieszny)
Wciąż nie wiem, czy nadaje się do poważnego programowania (o3 się nie nadawał), ale wydaje się, że tak? Model kodowania tak niezawodny jak Opus, a jednocześnie mądrzejszy od o3, całkowicie zmieniłby mój sposób pracy. Opus nie potrzebuje myślenia, aby być świetnym, więc to może działać na jego korzyść.
Na co warto zwrócić uwagę, używałem tylko 3 modeli:
- Opus 4.1 do kodowania
- Gemini 2.5 bardzo rzadko do kodowania, gdy Opus zawodzi
- o3 do wszystkiego oprócz kodowania
86,08K
Nie, wszyscy się mylicie, GPT-5 to skok
Zdecydowanie stawiam na to w 100%
Nie chciałem publikować zbyt szybko i potem tego żałować, ale właśnie rozwiązał mnóstwo bardzo, bardzo trudnych zadań debugowania, które wcześniej były nierozwiązywalne (przez AI), a następnie zaprojektował wspaniałą pikselową grę na Gameboya z poziomem szczegółowości i jakości, który wyraźnie przewyższa wszystko, co kiedykolwiek widziałem.
Nie ma mowy, żeby ten model był zły.
Myślę, że wszyscy jesteście traumatyzowani benchmaxxerami i nadmiernie kompensujecie wobec modelu, który jest naprawdę dobry. Myślę też, że niedoceniacie mocnych stron gpt-oss (ale tak, mój ostatni post był pośpieszny)
Wciąż nie wiem, czy nadaje się do poważnego programowania (4o, o3 zdecydowanie się nie nadawały), ale wydaje się, że tak? Model kodowania tak niezawodny jak Opus, a jednocześnie mądrzejszy od o3, całkowicie zmieniłby mój sposób pracy. Opus nie potrzebuje myślenia, aby być świetnym, więc to może działać na jego korzyść.
Na co warto zwrócić uwagę, używałem tylko 3 modeli:
- Opus 4.1 do kodowania
- Gemini 2.5 bardzo rzadko do kodowania, gdy Opus zawodzi
- o3 do wszystkiego oprócz kodowania
599
Najlepsze
Ranking
Ulubione
Trendy onchain
Trendy na X
Niedawne największe finansowanie
Najbardziej godne uwagi