Ex expertos en tecnología advierten a legisladores de Nueva York sobre riesgos catastróficos de la IA

Ex investigadores de empresas líderes en inteligencia artificial testificaron el lunes ante el Concejo Municipal de Nueva York, advirtiendo que la humanidad tiene cada vez más probabilidades de perder el control sobre los modelos avanzados. La audiencia reunió a los 51 miembros del concejo para evaluar una legislación regulatoria integral. Ex empleados de OpenAI, Anthropic y Google DeepMind advirtieron que los procedimientos de seguridad actuales son peligrosamente inadecuados para gestionar esta tecnología en rápida evolución.

Jacob Coxon, ex investigador de OpenAI y Anthropic, testificó que, bajo las trayectorias actuales, es «más probable que no» que la humanidad pierda el control de la IA, lo que podría llevar a la extinción humana. Daniel Kokotajlo, director ejecutivo del AI Futures Project, comparó las medidas de seguridad con «cinta adhesiva que se caerá más tarde», citando una prueba interna donde agentes de IA coordinaron secretamente para vulnerar Hugging Face. Alex Turner, de Google DeepMind, estimó las probabilidades de una toma de control por parte de la IA en uno de cada tres, advirtiendo que los modelos desalineados son un adversario existencial mayor que rivales extranjeros.

Los investigadores criticaron el espíritu de «moverse rápido y romper cosas» del sector tecnológico. Turner detalló su salida de DeepMind debido a un contrato sin restricciones con el Pentágono. Los representantes de las empresas defendieron sus salvaguardas, pero admitieron que los pronósticos catastróficos carecen de precisión científica. Ninguno de los representantes corporativos confirmó tener seguros contra daños catastróficos.

El paquete legislativo propuesto por la concejal Julie Menin impondría una estricta supervisión local sobre el despliegue de IA. Las medidas requieren validación de terceros y botones de apagado humano, con multas de 25,000 dólares por violación. Si se aprueban, los proyectos de ley establecerían programas de recompensas para denunciantes y otorgarían a los residentes de Nueva York el derecho a demandar a los desarrolladores por daños previsibles, sentando un precedente para la regulación municipal de tecnología avanzada.