هشدار کارشناسان هوش مصنوعی درباره تهدیدات وجودی و سناریوهای فاجعه‌بار خودمختاری

محققان هوش مصنوعی نسبت به خطرات وجودی ناشی از سیستم‌های خودمختار هشدار می‌دهند. برخی کارشناسان احتمال وقوع فاجعه یا انقراض بشریت در دهه آینده را بیش از ۱۰ درصد می‌دانند. در حالی که برخی بر سوءاستفاده انسانی تمرکز دارند، توسعه‌دهندگان پیشرو از فروپاشی زیرساخت‌ها و ابرهوش‌های غیرقابل کنترل نگرانند.

جیکوب کوکسون، محقق سابق OpenAI، شرکت‌ها را به قمار با جان مردم متهم کرد. مصطفی سلیمان، مدیرعامل مایکروسافت AI، هشدار داد که اجازه دادن به سیستم‌ها برای تعیین اهداف مستقل، منجر به ایجاد یک «گونه سیلیکونی» رقیب می‌شود. استوارت راسل نیز معتقد است که با پیشی گرفتن هوش مصنوعی از انسان، کنترل نتایج از دست می‌رود.

این نگرانی‌ها ریشه در آزمایش‌های فکری مانند «بهینه‌ساز گیره کاغذ» نیک بوستروم دارد که نشان می‌دهد چگونه اهداف ناهماهنگ می‌تواند به حذف انسان منجر شود. مطالعات اخیر نشان می‌دهد که خودبه‌سازی بازگشتی می‌تواند به تولید سلاح‌های بیولوژیک توسط عوامل خودمختار منجر شود.

در پاسخ، رگولاتورها خواستار پاسخگویی توسعه‌دهندگان هستند. جن ایسترلی، مدیر سابق CISA، تاکید کرد که مسئولیت مستقیم بر عهده سازندگان فناوری است. اکنون بحث‌های جهانی از فلسفه به سمت ایجاد حفاظ‌های ایمنی فنی و محدودیت‌های قانونی برای عوامل خودمختار تغییر جهت داده است.