Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Leidest du unter Chatbot-Müdigkeit?
Bist du frustriert, dass die Singularität abgesagt wurde?
Suchst du nach etwas Neuem, das dir Hoffnung gibt?
Hier ist mein wahnwitziger, aber "hey, es macht irgendwie Sinn" Plan, um Superintelligenz in meinem kleinen Indie-Forschungslabor aufzubauen.
(Hinweis: Ich werde Genauigkeit gegen Pädagogik eintauschen)
Zuerst ein Hintergrund:
Ich bin ein 33-jähriger Typ, der die letzten 22 Jahre mit Programmieren verbracht hat. Im Laufe der Zeit habe ich viele Fragen zur Natur des Rechnens gestellt und einige ziemlich... eigenartige... Einsichten gesammelt. Vor ein paar Jahren habe ich HVM gebaut, ein System, das in der Lage ist, Programme in einer esoterischen Sprache namens "Haskell" auf der GPU auszuführen - ja, dem gleichen Chip, der Deep Learning zum Laufen brachte und diesen gesamten KI-Zyklus ins Leben rief.
Aber wie hängt Haskell mit KI zusammen?
Nun, das ist eine lange Geschichte. Wie die Älteren sich vielleicht erinnern, war das, was wir damals "KI" nannten, ... anders. Vor fast 3 Jahrzehnten besiegte zum ersten Mal ein Computer den Weltmeister im Schach, was viele Debatten über AGI und Singularität auslöste - genau wie heute!
Das System, genannt Deep Blue, war sehr anders als die Modelle, die wir heute haben. Es verwendete keine Transformer. Es verwendete überhaupt keine neuronalen Netze. Tatsächlich gab es kein "Modell". Es war eine reine "symbolische KI", was bedeutete, dass es einfach ein altmodischer Algorithmus war, der Milliarden von möglichen Zügen scannte, schneller und tiefer als jeder Mensch, und uns durch schiere rohe Gewalt besiegte.
Das löste eine Welle vielversprechender symbolischer KI-Forschung aus. Evolutionäre Algorithmen, Wissensgraphen, automatisierte Beweisführung, SAT/SMT-Löser, Constraint-Löser, Expertensysteme und vieles mehr. Leider stieß der Ansatz im Laufe der Zeit an eine Wand. Handgefertigte Regeln skalieren nicht, symbolische Systeme konnten nicht dynamisch *lernen*, und die Blase platzte. Ein neuer KI-Winter begann.
Erst Jahre später änderte eine neugierige Kombination von Faktoren alles. Forscher holten eine alte Idee - neuronale Netze - wieder hervor, aber diesmal hatten sie etwas Neues: GPUs. Diese Grafikchips, ursprünglich für die Darstellung von Videospielen entwickelt, erwiesen sich als perfekt für die massiven Matrixmultiplikationen, die neuronale Netze benötigten. Plötzlich konnte das, was Wochen dauerte, in Stunden erledigt werden. Deep Learning explodierte, und hier sind wir heute, mit Transformern, die die Welt erobern.
Aber hier ist die Sache: Wir haben nur *einen* Zweig der KI auf GPUs portiert - den konnektionistischen, numerischen. Die symbolische Seite? Sie steckt immer noch im CPU-Steinalter fest.
Haskell ist eine besondere Sprache, weil sie die Sprache der Beweise (d.h. das Idiom, das Mathematiker verwenden, um Theoreme auszudrücken) mit der Sprache der Programmierung (d.h. was Entwickler verwenden, um Apps zu erstellen) vereint. Das macht sie einzigartig geeignet für symbolisches Denken - die genau Art von Berechnung, die Deep Blue verwendete, aber jetzt können wir sie massiv parallel auf moderner Hardware ausführen.
(Um genauer zu sein, massive GPU-Parallelität ist nicht das einzige, was HVM mitbringt. Es stellt sich heraus, dass es in einigen Fällen auch *asymptotische* Geschwindigkeitssteigerungen zur Folge hat. Und das ist ein wichtiger Grund, an unserem Ansatz zu glauben: Frühere symbolische Methoden waren nicht nur rechnerisch unterversorgt. Sie waren algorithmisch gesehen exponentiell langsam. Kein Wunder, dass sie nicht funktionierten. Sie hatten keine Chance.)
Meine These ist einfach: Jetzt, da ich Haskell auf GPUs ausführen kann, und angesichts dieser asymptotischen Geschwindigkeitssteigerung, bin ich in der Lage, diese alten symbolischen KI-Methoden wiederzubeleben, sie um Größenordnungen zu skalieren und zu sehen, was passiert. Vielleicht, nur vielleicht, wird uns eine von ihnen überraschen.
Unser erster Meilenstein ist bereits in Bewegung: Wir haben den schnellsten Programm-/Beweis-Synthesizer der Welt gebaut, den ich SupGen nenne. Oder NeoGen. Oder QuickGen? Wir werden es als Update für unsere "Bend"-Sprache veröffentlichen und voraussichtlich Ende Oktober öffentlich verfügbar machen.
Dann werden wir später in diesem Jahr damit als Grundlage für ein neues Forschungsprogramm arbeiten, das eine reine symbolische Architektur sucht, die tatsächlich aus Daten lernen und Verallgemeinerungen aufbauen kann - nicht durch Gradientenabstieg und Rückpropagation, sondern durch logisches Denken und Programmsynthese.
Unsere ersten Experimente werden sehr einfach sein (nicht unähnlich GPT-2), und der Hauptmeilenstein wäre, ein "Next Token Completion Tool" zu haben, das zu 100 % frei von neuronalen Netzen ist.
Wenn das funktioniert, könnte es einen bahnbrechenden Sprung über Transformer und Deep Learning hinaus darstellen, weil es ein völlig neuer Ansatz ist, der höchstwahrscheinlich viele GPT-vererbte Einschränkungen, die KI heute hat, beseitigen würde. Nicht nur Tokenisierungsprobleme (wie die R's in Erdbeere), sondern grundlegende Probleme, die verhindern, dass GPTs effizient lernen und verallgemeinern.
Wahnwitzig? Wahrscheinlich.
Es wert, es zu versuchen? Absolut.
(Jetzt rate, wie viel KI-generiert war und welches Modell ich verwendet habe)
23,2K
Top
Ranking
Favoriten