Così tanti quadri e previsioni a lungo termine sull'AGI si rivelano essere estrapolazioni naive di modelli altamente riduttivi del mondo, dell'economia, del potere, della governance, dell'intelligenza e della diffusione tecnologica (nientemeno). Ma l'allineamento non è solo un problema tecnico di estrazione delle preferenze e di seguire le istruzioni, e l'automazione non porta inevitabilmente a una perdita di potere; entrambi sono anche una sfida socio-tecnica di design istituzionale e governance. Questo è un processo continuo ed è deludente che così tante opinioni, sia da parte dei deterministi catastrofisti che da quella degli accelerazionisti, semplicemente ignorino l'agenzia, la politica e le istituzioni come banali/inconvenienti, o incapaci di adattarsi e affrontare i compromessi. Questo non significa che il quadro sia sempre roseo, ma che dovresti considerare maggiormente l'incertezza e l'agenzia nelle tue profezie.