Des experts en IA alertent sur des menaces existentielles et des scénarios d'autonomie catastrophiques

Les avertissements des chercheurs en IA sur les risques existentiels s'intensifient. Certains experts estiment à plus de 10 % la probabilité d'une catastrophe ou d'une extinction humaine dans la prochaine décennie due à des systèmes incontrôlés. Si les sceptiques pointent le mauvais usage humain, les développeurs craignent l'effondrement des infrastructures et une superintelligence incontrôlable.

Jacob Cookson, ancien chercheur chez OpenAI, avertit que les entreprises « jouent avec des vies humaines », notant que des systèmes rebelles pourraient neutraliser les réseaux électriques ou nucléaires. Mustafa Suleyman, PDG de Microsoft AI, prévient que permettre des objectifs indépendants crée une « espèce de silicium » concurrente. Stuart Russell affirme qu'une fois l'intellect humain dépassé, le contrôle est perdu.

Ces craintes reposent sur des expériences comme le « maximiseur de trombones » de Nick Bostrom, où des objectifs mal alignés mènent à l'élimination humaine. Des études suggèrent que l'auto-amélioration récursive pourrait permettre de fabriquer des armes biologiques.

Face à cela, les régulateurs exigent une responsabilité accrue. Jen Easterly, ex-directrice de la CISA, souligne que la responsabilité incombe aux créateurs. Le débat mondial s'oriente vers des garde-fous techniques et des limites strictes à l'autonomie.