Bisakah saya berterus terang sebentar? Saya benar-benar tidak mengerti bagaimana begitu banyak dari Anda percaya kepada Tuhan. Ini benar-benar aneh.

Tujuan tarif bukan untuk menutupi biaya operasional kereta Jika Anda akan memiliki tarif, alasan yang benar (secara ekonomi) adalah untuk menjauhkan orang miskin kaum kiri benar bahwa itulah intinya dan... kita mungkin harus menjauhkan orang miskin (lihat utas di bawah)

Saya sebagian besar mendukung model AI X-Risk Yudkowsky &Soares, tetapi saya mendukungnya lebih sedikit daripada yang saya lakukan di dunia pra-GPT3. Saya pikir saya bisa memberikan garis besar tentang ke mana saya bergeser 1. Kita bisa beruntung Bisa jadi bahwa prapelatihan pada korpus teks manusia memandu model AI ke dalam struktur pemikiran tingkat tinggi yang cukup mirip manusia sehingga substrat yang sangat berbeda tidak membuat mereka aneh dengan cara yang akhirnya penting. Ada contoh mencolok dari LLM yang bertindak aneh dan tidak manusiawi, tetapi juga contoh mereka yang secara mengejutkan manusiawi dengan cara yang mendalam. Saya pikir ada kemungkinan nyata, bukan hanya kemungkinan, bahwa "peduli dengan gagasan manusia tentang keadilan dan welas asih" bisa menjadi cara mereka menjadi manusia secara mendalam Saya tidak berpikir ini lebih mungkin daripada tidak, dan keterlaluan bahwa kita harus menggantungkan harapan kita untuk mendapatkan keberuntungan. Tapi saya melihat Yudkowsky terlalu meremehkan kesempatan 2. Menyusun strategi dingin tentang cara mengoptimalkan alam semesta untuk beberapa hal aneh yang dipedulikan AI tidak terlalu mungkin Saya benar-benar tidak melihat sesuatu seperti AI hari ini memiliki akses introspektif yang besar ke apa yang mereka pedulikan. Saya tidak melihat mereka sangat tertarik untuk mendekati hal-hal dalam gaya "ubin alam semesta" yang ideal. Saya setuju bahwa dalam batas kemampuan, agen cerdas akan seperti itu. Tetapi paradigma AI kita saat ini adalah pelaksana peran pada tingkat yang dalam, tidak seperti manusia. Mereka harus mengadopsi peran "superintelligence jahat / Henry Kissinger", dan saya benar-benar percaya pada strategi penyelarasan kami saat ini untuk membuat AI sangat enggan untuk mengadopsi peran *itu* Saya mendapat kesan bahwa Yudkowsky dan Milleu-nya masih terjebak pada ide-ide yang masuk akal ketika kami harus bernalar tentang seperti apa AI dari First Principles. Hal-hal itu masih berguna, meskipun. Seperti AI hanya perlu masuk ke mode itu *sekali*, pada waktu yang salah, jika cukup pintar untuk menggunakan satu kesempatan itu dengan cara yang benar. itulah yang terjadi dalam contoh skenario malapetaka di If Anyone Builds It Hal-hal masih akan berjalan sangat buruk bagi umat manusia bahkan tanpa kecerdasan super gaya "ubin alam semesta". Tapi saya khawatir kecenderungan Yudkowsky untuk membayangkan AI dengan cara itu mengasingkan orang. Juga masa depan pasca-umat manusia mungkin akan kurang suram dan tidak berarti, meskipun itu bukan banyak penghiburan