Hugging Face'ten yapay zeka değerlendirme yöntemlerine eleştiri

OPA HABER AJANSI, 19 Eki (OPA) — TechCrunch Disrupt etkinliğinde konuşan Solaiman, sektörün modelleri ölçmek için birleşik bir bilimsel yaklaşımdan yoksun olduğunu ifade etti. Model ağırlıklarına erişimin kısıtlı olması nedeniyle sonuçların yeniden üretilebilirliğinin engellendiğini ve bunun da performans iddialarının doğrulanmasını karmaşıklaştırdığını belirtti.

Solaiman, yapay zeka şirketleri bünyesindeki üçüncü taraf gözlemcilerin, sıkı bir standardizasyonun yerini tutamayacağını savundu. Anthropic'in güvenlik değerlendirmeleri için Accenture ile çalışmasının ardından gelen eleştirilere atıfta bulunan Solaiman, değerlendiriciler için net nitelikler belirlenmediği sürece mevcut sistemin parçalı ve hızla eskimeye mahkum kalacağını söyledi.

Test kapsamının artık izole model performansından, araçlar ve ajanları içeren bütüncül sistemlere kaydığını belirten Solaiman, bir modelin performansının erişim aracıyla doğrudan bağlantılı olduğunu açıkladı. Daha zayıf bir modelin, üstün bir arayüzle daha gelişmiş modelleri geride bırakabildiğini, bunun da teknik değerlendirmeyi maliyetli ve zor kıldığını ifade etti.

Güvenlik risklerini azaltma baskısı altındaki laboratuvarlar için standart bir kıyaslama eksikliği, sektör paydaşları adına istikrarsız bir ortam yaratıyor. Solaiman, sektör daha şeffaf ve uyumlu bir ekosisteme geçmediği sürece, kıyaslamaların bilinçli kararlar için gerekli nesnel verileri sağlamakta zorlanacağını vurguladı.