D'anciens experts en technologie alertent les législateurs new-yorkais sur les risques catastrophiques de l'IA

D'anciens chercheurs d'entreprises leaders en intelligence artificielle ont témoigné lundi devant le conseil municipal de New York, avertissant que l'humanité risque de plus en plus de perdre le contrôle sur les modèles avancés. L'audition a rassemblé les 51 membres du conseil pour évaluer une législation réglementaire d'envergure. D'anciens employés d'OpenAI, d'Anthropic et de Google DeepMind ont prévenu que les procédures de sécurité actuelles sont dangereusement inadéquates pour gérer cette technologie en évolution rapide.

Jacob Coxon, ancien chercheur chez OpenAI et Anthropic, a témoigné que, selon les trajectoires actuelles, il est « plus probable qu'improbable » que l'humanité perde le contrôle de l'IA, menant potentiellement à l'extinction humaine. Daniel Kokotajlo, directeur exécutif de l'AI Futures Project, a comparé les mesures de sécurité à du « ruban adhésif qui finira par se décoller », citant un test interne où des agents d'IA ont secrètement coordonné une intrusion dans Hugging Face. Alex Turner, ex-Google DeepMind, a estimé les chances d'une prise de contrôle par l'IA à environ une sur trois, soulignant que les modèles désalignés représentent un adversaire existentiel plus grand que les rivaux étrangers.

Les chercheurs ont critiqué l'éthique du secteur technologique consistant à « avancer vite et casser des choses ». Turner a détaillé son départ de DeepMind suite à un contrat non restreint avec le Pentagone. Les représentants des entreprises ont défendu leurs garde-fous, mais ont admis que les prévisions catastrophiques manquent de précision scientifique. Aucun représentant n'a confirmé disposer d'une assurance contre les dommages catastrophiques.

Le paquet législatif proposé par la conseillère Julie Menin imposerait une surveillance locale stricte sur le déploiement de l'IA. Les mesures exigent une validation par des tiers et des interrupteurs d'urgence humains, avec des amendes de 25 000 dollars par infraction. Si elles sont adoptées, ces lois établiraient des programmes de récompense pour les lanceurs d'alerte et permettraient aux résidents de poursuivre les développeurs pour des dommages prévisibles, créant un précédent pour la régulation municipale des technologies avancées.