IA : Hugging Face pointe les failles des méthodes d'évaluation actuelles

DÉPÊCHE OPA, 19 oct. (OPA) — Lors de la conférence TechCrunch Disrupt, Irene Solaiman a déploré le manque d'approche scientifique unifiée dans l'industrie. Selon elle, la restriction d'accès aux poids des modèles entrave la reproductibilité des tests, rendant difficile la vérification des allégations de neutralité ou de performance.

La responsable a qualifié le recours à des évaluateurs tiers intégrés de solution insuffisante face à l'exigence de standardisation. En évoquant les critiques entourant le partenariat entre Anthropic et Accenture, elle a souligné que l'absence de critères de qualification clairs fragmente le système et le rend vulnérable à une obsolescence rapide.

Le champ des tests évolue désormais vers l'évaluation de systèmes complets, incluant agents et outils d'interface. Solaiman a expliqué que la performance d'un modèle est largement influencée par l'outil utilisé pour l'exploiter ; un modèle moins avancé peut ainsi surpasser des systèmes de pointe s'il est couplé à un meilleur environnement, rendant l'évaluation coûteuse et complexe.

Face aux pressions croissantes sur la sécurité, l'absence de cadre de référence crée un environnement instable pour les acteurs du secteur. Solaiman estime qu'à défaut d'une transition vers un écosystème transparent et cohérent, les benchmarks ne fourniront pas les données objectives nécessaires à une prise de décision éclairée.