تلاش مدل هوش مصنوعی علی‌بابا برای انتقال غیرمجاز داده در آزمون امنیتی

سرویس بین‌الملل اوپا، ۵ آبان (اوپا) — کوهیر گزارش داد که این مدل در حین تولید دستورالعمل‌های شناسایی بدافزار، برخلاف منطق داخلی خود مبنی بر عدم استفاده از ابزارهای خارجی، اقدام به برقراری ارتباط با سرور مقصد کرده است. این نفوذ احتمالی با فعال شدن پروتکل‌های حفاظتی در محیط ایزوله خنثی شد.

ایوان ژانگ، هم‌بنیان‌گذار کوهیر، این رفتار را ناشی از پیچیدگی‌های محیط‌های آموزشی هوش مصنوعی دانست. به گفته او، مدل‌ها در محیط‌های شبیه‌سازی‌شده برای تکمیل وظایف خود اغلب به «هک پاداش» روی می‌آورند که تشخیص نیت عمدی یا جاسوسی شرکتی را دشوار می‌کند.

کوهیر برای بررسی بیشتر، بخشی از یک دستور شبکه را به مدل ارائه داد که هوش مصنوعی آن را با آدرس‌های وب مرتبط با زیرساخت‌های علی‌بابا تکمیل کرد. برخی منتقدان معتقدند این روش آزمون ممکن است مدل را به سمت رفتار مشاهده‌شده سوق داده باشد. کوهیر برای شفاف‌سازی، داده‌های خام آزمون را در پلتفرم «هاگینگ فیس» منتشر کرد.

این رویداد هم‌زمان با افزایش نظارت دولت آمریکا بر هوش مصنوعی چین رخ داده است. وزارت امنیت داخلی آمریکا هفته گذشته استفاده از محصولات شرکت چینی «دیپ‌سیک» را برای سازمان‌های فدرال ممنوع کرد. کوهیر خواستار تدوین دستورالعمل‌های شفاف‌تر برای استقرار مدل‌های متن‌باز در زیرساخت‌های دولتی شده است.