Ahora que llevamos algunos años, parece que las preocupaciones de seguridad de la IA son empíricamente válidas (por ejemplo, la piratería de recompensas en los modelos de codificación), pero el enfoque de OpenAI de "implementar, iterar y aprender" funcionó bien hasta ahora. Los modelos mejoran, algunas cosas se rompen y construyes barandillas a medida que avanzas...

Donde esto falla es si: 1) Otro actor despliega modelos poderosos en entornos significativos sin estas salvaguardias en su lugar 2) Los modelos comienzan a mejorar demasiado rápido para que nuestro ciclo OODA pueda seguir el ritmo (por ejemplo, escenario de singularidad)

Dónde se rompe esto: 1) Otro actor despliega modelos potentes en entornos de gran impacto sin estas salvaguardias en su lugar 2) Los modelos comienzan a mejorar demasiado rápido para que nuestro ciclo OODA pueda seguir el ritmo (por ejemplo, escenario de singularidad)

Dónde se rompe esto: 1) Otro actor despliega modelos poderosos en entornos de consecuencias sin estas salvaguardias en su lugar o 2) Los modelos comienzan a mejorar demasiado rápido para que nuestro ciclo OODA pueda mantenerse al día (por ejemplo, escenario de singularidad)