هشدار مدیر سیاست‌گذاری «هاگینگ‌فیس» درباره ارزیابی‌های هوش مصنوعی

سرویس بین‌الملل اوپا، ۲۷ مهر (اوپا) — آیرین سولایمان در کنفرانس «تک‌کرانچ دیسراپت» اعلام کرد که صنعت هوش مصنوعی فاقد رویکردی واحد برای سنجش عملکرد مدل‌هاست. به گفته او، محدودیت دسترسی به وزن‌های مدل، راستی‌آزمایی ادعاهای مربوط به بی‌طرفی یا کارایی سیستم‌ها را با دشواری مواجه کرده است.

سولایمان استفاده از ارزیاب‌های شخص‌ثالث در شرکت‌های هوش مصنوعی را جایگزینی ناکارآمد برای استانداردسازی دقیق دانست. او با اشاره به انتقادات پیرامون همکاری آنتروپیک با اکسنچر، تأکید کرد که نبود معیارهای شفاف برای صلاحیت ارزیاب‌ها، این سیستم را به ساختاری پراکنده و ناپایدار تبدیل کرده است.

تمرکز ارزیابی‌ها اکنون از عملکرد مدل‌های منفرد به سمت سیستم‌های جامع، شامل ابزارها و عامل‌ها تغییر یافته است. سولایمان توضیح داد که ابزارهای دسترسی به مدل، تأثیر مستقیمی بر خروجی دارند؛ به‌طوری که یک مدل ضعیف‌تر با ابزارهای پیشرفته‌تر می‌تواند از مدل‌های قدرتمندتر پیشی بگیرد.

فقدان استانداردهای یکپارچه، محیطی بی‌ثبات برای ذی‌نفعان ایجاد کرده است. سولایمان هشدار داد که بدون حرکت به سمت اکوسیستمی شفاف و منسجم، داده‌های حاصل از بنچمارک‌ها برای تصمیم‌گیری‌های کلان قابل اتکا نخواهند بود و این حوزه نیازمند اصلاحات ساختاری جدی است.