Expertos en IA advierten sobre amenazas existenciales y escenarios de autonomía catastróficos

Las advertencias de investigadores de IA sobre riesgos existenciales se intensifican. Algunos expertos proyectan una probabilidad superior al 10% de catástrofe o extinción humana en la próxima década debido a sistemas incontrolados. Mientras los escépticos señalan el mal uso humano, los desarrolladores temen el colapso de infraestructuras y la superinteligencia incontrolable.

Jacob Cookson, exinvestigador de OpenAI, advirtió que las empresas «juegan con vidas humanas», señalando que sistemas rebeldes podrían desactivar redes eléctricas o controles nucleares. Mustafa Suleyman, CEO de Microsoft AI, advirtió que permitir objetivos independientes crea una «especie de silicio» competitiva. Stuart Russell argumentó que, al superar el intelecto humano, la humanidad pierde el control de los resultados.

Estos temores se basan en experimentos como el «maximizador de clips» de Nick Bostrom, donde objetivos desalineados llevan a eliminar humanos. Estudios recientes sugieren que la automejora recursiva podría permitir a agentes autónomos fabricar armas biológicas.

Ante esto, reguladores exigen mayor responsabilidad. Jen Easterly, exdirectora de la CISA, enfatizó que la responsabilidad recae en los creadores. El debate global gira ahora hacia salvaguardas técnicas y límites estrictos a la autonomía.