Menderita kelelahan chatbot? frustrasi karena singularitas dibatalkan? Mencari sesuatu yang baru untuk memberi Anda harapan? Ini adalah delusi saya, tetapi rencana "hei, agak masuk akal" untuk membangun kecerdasan super di laboratorium penelitian indie kecil saya (catatan: Saya akan menukar akurasi dengan pedagogi) Pertama, latar belakang: Saya seorang pria berusia 33 tahun yang menghabiskan 22 tahun terakhir untuk memprogram. selama waktu, saya telah mengajukan banyak pertanyaan tentang sifat komputasi, dan mengumpulkan beberapa ... aneh... Wawasan. beberapa tahun yang lalu, saya telah membangun HVM, sebuah sistem yang mampu menjalankan program dalam bahasa esoterik yang disebut "Haskell" pada GPU - ya, chip yang sama yang membuat pembelajaran mendalam bekerja, dan memancarkan seluruh siklus AI ini. tetapi bagaimana hubungan Haskell dengan AI? Yah, itu cerita yang panjang. seperti yang mungkin diingat oleh para tetua, saat itu, apa yang kami sebut "AI" adalah... beda. hampir 3 dekade yang lalu, untuk pertama kalinya, sebuah komputer mengalahkan juara dunia di catur, berkilauan banyak perdebatan tentang AGI dan singularitas - seperti hari ini! sistemnya, bernama Deep Blue, sangat berbeda dari model yang kita miliki saat ini. itu tidak menggunakan transformator. itu tidak menggunakan jaringan saraf sama sekali. Faktanya, tidak ada "model". itu adalah "AI simbolis" murni, yang berarti itu hanyalah algoritme lama biasa, yang memindai miliaran kemungkinan gerakan, lebih cepat dan lebih dalam dari yang bisa dilakukan manusia mana pun, mengalahkan kita dengan kekuatan kasar belaka. ini memicu gelombang penelitian AI simbolis yang menjanjikan. algoritma evolusioner, grafik pengetahuan, pembuktian teorema otomatis, pemecah SAT/SMT, pemecah kendala, sistem pakar, dan banyak lagi. Sayangnya, seiring waktu, pendekatan itu menabrak tembok. Aturan buatan tangan tidak berskala, sistem simbolis tidak dapat *belajar* secara dinamis, dan gelembung meledak. musim dingin AI baru dimulai. Hanya bertahun-tahun kemudian keselarasan faktor-faktor yang aneh mengubah segalanya. para peneliti membersihkan ide lama - jaringan saraf - tetapi kali ini, mereka memiliki sesuatu yang baru: GPU. Chip grafis ini, awalnya dibuat untuk merender video game, ternyata sempurna untuk perkalian matriks besar-besaran yang dibutuhkan jaringan saraf. Tiba-tiba, apa yang memakan waktu berminggu-minggu bisa dilakukan dalam hitungan jam. Pembelajaran mendalam meledak, dan di sinilah kita hari ini, dengan transformer memakan dunia. tapi inilah masalahnya: kami hanya mem-porting *satu* cabang AI ke GPU - yang koneksionis, numerik. sisi simbolis? itu masih terjebak di zaman batu CPU. Haskell adalah bahasa khusus, karena menyatukan bahasa pembuktian (yaitu, idiom yang digunakan matematikawan untuk mengekspresikan teorema) dengan bahasa pemrograman (yaitu, apa yang digunakan pengembang untuk membangun aplikasi). Ini membuatnya sangat cocok untuk penalaran simbolis - jenis komputasi yang tepat yang digunakan Deep Blue, tetapi sekarang kita dapat menjalankannya secara besar-besaran paralel pada perangkat keras modern. (untuk lebih tepatnya, paralelisme GPU besar-besaran saja bukan satu-satunya hal yang dibawa HVM ke meja. Ternyata itu juga menghasilkan percepatan *asimtotik* dalam beberapa kasus. Dan ini adalah alasan utama untuk percaya pada pendekatan kami: metode simbolis masa lalu tidak hanya kelaparan secara komputasi. Mereka sangat lambat, dalam arti algoritmik. Tidak heran mereka tidak berhasil. Mereka tidak memiliki kesempatan untuk melakukannya.) tesis saya sederhana: sekarang saya dapat menjalankan Haskell di GPU, dan mengingat percepatan tanpa gejala ini, saya berada dalam posisi untuk menghidupkan kembali metode AI simbolis lama ini, meningkatkannya dengan urutan besarnya, dan melihat apa yang terjadi. Mungkin, hanya mungkin, salah satu dari mereka akan mengejutkan kita. tonggak pertama kami sudah berlangsung: kami telah membangun synthesizer program/bukti tercepat di dunia, yang saya sebut SupGen. atau NeoGen. atau QuickGen? kami akan merilisnya sebagai pembaruan untuk bahasa "Bend" kami, membuatnya tersedia untuk umum sekitar akhir Oktober. Kemudian, akhir tahun ini, kami akan menggunakannya sebagai dasar untuk program penelitian baru, mencari arsitektur simbolis murni yang benar-benar dapat belajar dari data dan membangun generalisasi - bukan melalui penurunan gradien dan propagasi balik, tetapi melalui penalaran logis dan sintesis program. eksperimen pertama kami akan sangat sederhana (tidak seperti GPT-2), dan tonggak utamanya adalah memiliki "alat penyelesaian token berikutnya" yang 100% bebas dari jaringan saraf. jika ini berhasil, itu bisa menjadi lompatan terobosan di luar transformator dan pembelajaran mendalam, karena ini adalah pendekatan yang sama sekali baru yang kemungkinan besar akan menyingkirkan banyak keterbatasan bawaan GPT yang dimiliki AI saat ini. bukan hanya masalah tokenizer (seperti R pada stroberi), tetapi masalah mendasar yang mencegah GPT belajar secara efisien dan menggeneralisasi Delusi? barangkali Layak dicoba? Sama sekali (sekarang tebak berapa banyak yang dihasilkan AI, dan model mana yang saya gunakan)