关于AGI的许多框架和长期预测最终都只是对高度简化的世界、经济、权力、治理、智能和技术扩散模型的天真外推。但对齐不仅仅是偏好提取和遵循指令的技术问题,自动化也不必然导致权力的削弱;这两者也是制度设计和治理的社会技术挑战。 这是一个持续的过程,令人失望的是,许多关于完全决定论的悲观主义者或加速主义者的观点只是将代理、政治和机构视为微不足道/不便,或者认为它们无法适应和处理权衡。这并不意味着情况总是乐观的,但你应该在你的预言中更重视不确定性和代理。