感到聊天機器人疲勞嗎？ 對於奇點被取消感到沮喪嗎？ 尋找一些新的東西來給你希望嗎？ 這是我妄想的計劃，但「嘿，這有點道理」的計劃，旨在我的小型獨立研究實驗室中建立超智能。 （注意：我會為了教學而犧牲準確性） 首先，背景： 我是一個33歲的男孩，過去22年一直在編程。在這段時間裡，我問了許多關於計算本質的問題，並積累了一些相當... 特殊的... 洞見。幾年前，我建立了HVM，一個能夠在一種名為「Haskell」的深奧語言上運行程序的系統——是的，就是那個讓深度學習運作並點燃整個AI周期的芯片。 但Haskell與AI有什麼關係？ 嗯，這是一個長故事。正如長者們可能記得的，當時我們所稱的「AI」是... 不同的。近三十年前，第一次有計算機擊敗了世界冠軍的棋手，引發了許多關於AGI和奇點的辯論——就像今天一樣！ 這個系統名為Deep Blue，與我們今天的模型非常不同。它沒有使用變壓器。它根本沒有使用神經網絡。事實上，沒有「模型」。它是一個純粹的「符號AI」，意味著它只是一個普通的算法，掃描數十億個可能的走法，比任何人類都快且深入，靠著純粹的暴力擊敗了我們。 這引發了一波有前景的符號AI研究。進化算法、知識圖譜、自動定理證明、SAT/SMT求解器、約束求解器、專家系統等等。可悲的是，隨著時間的推移，這種方法遇到了瓶頸。手工構建的規則無法擴展，符號系統無法動態「學習」，泡沫破裂。新的AI寒冬開始了。 直到幾年後，一個好奇的因素排列改變了一切。研究人員重新翻出了一個舊主意——神經網絡——但這次，他們有了一些新的東西：GPU。這些最初為渲染視頻遊戲而建造的圖形芯片，結果發現非常適合神經網絡所需的大規模矩陣乘法。突然之間，原本需要幾周的工作可以在幾小時內完成。深度學習爆炸了，現在我們就在這裡，變壓器正在吞噬世界。 但問題是：我們只將*一個*分支的AI移植到GPU上——連接主義的、數值的那一個。符號方面？它仍然停留在CPU的石器時代。 Haskell是一種特殊的語言，因為它將證明的語言（即數學家用來表達定理的語言）與編程的語言（即開發者用來構建應用的語言）統一。這使得它特別適合符號推理——正是Deep Blue所使用的那種計算，但現在我們可以在現代硬件上大規模並行運行。 （更準確地說，僅僅是大規模的GPU並行性並不是HVM帶來的唯一東西。事實證明，在某些情況下，它還會導致*漸近*的加速。而這是相信我們方法的一個關鍵原因：過去的符號方法不僅僅是計算上匱乏。它們在算法意義上是指數級緩慢的。難怪它們不起作用。它們根本沒有機會。） 我的論點很簡單：現在我可以在GPU上運行Haskell，並考慮到這種漸近加速，我有能力復活這些舊的符號AI方法，將它們擴展幾個數量級，看看會發生什麼。也許，或許，這其中的一個會讓我們驚訝。 我們的第一個里程碑已經在進行中：我們建立了世界上最快的程序/證明合成器，我稱之為SupGen。或者NeoGen。或者QuickGen？我們將作為我們的「Bend」語言的更新發布，預計在十月底左右公開。 然後，在今年晚些時候，我們將以此為基礎，尋求一種純符號架構，能夠實際從數據中學習並建立概括——不是通過梯度下降和反向傳播，而是通過邏輯推理和程序合成。 我們的第一次實驗將非常簡單（不亞於GPT-2），主要的里程碑將是擁有一個100%不依賴神經網絡的「下一個標記完成工具」。 如果這成功了，這可能是超越變壓器和深度學習的突破性飛躍，因為這是一種全新的方法，最有可能擺脫當前AI所面臨的許多GPT繼承的限制。不僅僅是標記器問題（像草莓中的R），還有根本性問題，阻止GPT有效學習和概括。 妄想？可能 值得一試？絕對 （現在猜猜有多少是AI生成的，我使用了哪個模型）