チャットボット疲れに悩まされていますか? シンギュラリティがキャンセルされたことにイライラしていますか? 希望を与える何か新しいものをお探しですか? これが私の小さなインディーズ研究室で超知能を構築するという私の妄想的ですが、「ちょっと理にかなっている」という計画です (注:正確さと教育学を交換します) まず、背景: 私は過去 22 年間プログラミングに携わった 33 歳の男性です。それまでの間、私はコンピューティングの性質について多くの質問をし、かなり...変わった。。。洞察 力。数年前、私は GPU 上で「Haskell」と呼ばれる難解な言語でプログラムを実行できるシステムである HVM を構築しました - そう、ディープラーニングを機能させ、この AI サイクル全体を輝かせたのと同じチップです。 しかし、Haskell は AI とどのように関係しているのでしょうか? まあ、それは長い話です。長老たちは覚えているかもしれませんが、当時、私たちが「AI」と呼んでいたものは...異。約3年前、史上初めてコンピューターがチェスで世界チャンピオンを破り、今日と同じように、AGIとシンギュラリティに関する多くの議論が巻き起こりました。 ディープブルーと名付けられたこのシステムは、現在のモデルとは大きく異なっていました。変圧器は使用しませんでした。ニューラルネットワークはまったく使用していませんでした。実際、「モデル」は存在しませんでした。それは純粋な「シンボリック AI」であり、つまり、人間よりも速く、深く何十億もの可能な動きをスキャンし、純粋な力ずくで私たちを打ち負かす、単なる古いアルゴリズムにすぎませんでした。 これにより、有望なシンボリック AI 研究の波が巻き起こりました。進化的アルゴリズム、ナレッジグラフ、自動定理証明、SAT/SMTソルバー、制約ソルバー、エキスパートシステムなど。悲しいことに、時間が経つにつれて、このアプローチは壁にぶつかりました。手作りのルールは拡張できず、シンボリックシステムは動的に「学習」できず、バブルは崩壊しました。新たなAIの冬が始まりました。 奇妙な要因の調整がすべてを変えたのは、わずか数年後のことだった。研究者たちはニューラルネットワークという古いアイデアをほこりを払いましたが、今回は新しいもの、つまりGPUを手に入れました。これらのグラフィックス チップは、もともとビデオ ゲームのレンダリング用に構築されましたが、ニューラル ネットが必要とする大規模な行列乗算に最適であることが判明しました。突然、数週間かかっていたことが数時間で完了できるようになりました。ディープラーニングは爆発的に普及し、トランスフォーマーが世界を食い尽くす今日に至っています。 しかし、ここで重要なのは、AI の *1* つのブランチを GPU に移植しただけだということです。象徴的な側面は?まだCPUの石器時代にとどまっています。 Haskell は、証明の言語 (つまり、数学者が定理を表現するために使用する慣用句) とプログラミングの言語 (つまり、開発者がアプリを構築するために使用するもの) を統一しているため、特別な言語です。これにより、Deep Blueが使用した計算とまったく同じ種類のシンボリック推論に特に適していますが、今では最新のハードウェアで大規模に並列に実行できます。 (より正確に言うと、HVM がもたらすのは大規模な GPU 並列処理だけではありません。場合によっては、*漸近的* 高速化にもつながります。そして、これが私たちのアプローチを信じる重要な理由です。過去のシンボリック手法は、計算が乏しいだけでなく、アルゴリズム的な意味で指数関数的に遅かったのです。うまくいかなかったのも不思議ではありません。 私の論文は単純です:GPU上でHaskellを実行できるようになり、この漸近的な高速化を考えると、これらの古いシンボリックAI手法を復活させ、桁違いにスケールアップして、何が起こるかを見る立場にあります。もしかしたら、もしかしたら、そのうちの1人が私たちを驚かせるかもしれません。 私たちの最初のマイルストーンはすでに動き始めています:私たちは世界最速のプログラム/プルーフシンセサイザーを構築しました。またはネオジェン。それともQuickGen?「Bend」言語のアップデートとしてリリースし、10月下旬頃に一般公開する予定です。 そして、今年後半には、それを新しい研究プログラムの基盤として使用し、勾配降下や逆伝播ではなく、論理的推論とプログラム合成を通じて、データから実際に学習し、一般化を構築できる純粋なシンボリックアーキテクチャを模索します。 私たちの最初の実験は非常に単純で(GPT-2とは異なり)、主なマイルストーンは、ニューラルネットを100%使用しない「次のトークン補完ツール」を持つことです。 これがうまくいけば、これは今日の AI が持っている GPT に継承された多くの制限を取り除く可能性が高いまったく新しいアプローチであるため、トランスフォーマーやディープラーニングを超えた画期的な飛躍になる可能性があります。トークナイザーの問題(イチゴのRのような)だけでなく、GPTの効率的な学習と一般化を妨げる根本的な問題 妄想。たしか 試してみる価値はありますか?そうですよ (AI がどれだけ生成したか、どのモデルを使用したかを推測してください)