Hugging-Face-Expertin warnt vor unzureichenden KI-Bewertungen

OPA NACHRICHTENDIENST, 19. Okt. (OPA) — Auf der TechCrunch Disrupt bemängelte Solaiman, dass der Industrie ein einheitlicher wissenschaftlicher Ansatz zur Messung von KI-Leistungen fehle. Die eingeschränkte Verfügbarkeit von Modellgewichten erschwere die Reproduzierbarkeit von Ergebnissen und mache es unmöglich, Behauptungen zur Neutralität oder Effizienz der Systeme zu verifizieren.

Solaiman bezeichnete den Einsatz externer Prüfer innerhalb von KI-Unternehmen als unzureichenden Ersatz für eine echte Standardisierung. Unter Verweis auf die Kritik an Anthropic und deren Zusammenarbeit mit Accenture betonte sie, dass ohne klare Qualifikationskriterien für Prüfer das aktuelle System fragmentiert bleibe und schnell an Relevanz verliere.

Der Fokus der Tests verschiebe sich zunehmend von isolierten Modellen hin zu komplexen Systemen, die Agenten und Schnittstellen umfassen. Solaiman erklärte, dass die Leistung eines Modells stark von den verwendeten Zugriffswerkzeugen abhänge. Ein schwächeres Modell könne in Kombination mit einem überlegenen System leistungsfähigere Modelle übertreffen, was die technische Bewertung erschwere.

Angesichts des wachsenden Drucks zur Risikominderung schaffe das Fehlen einheitlicher Benchmarks ein volatiles Umfeld. Solaiman mahnte an, dass die Branche ohne einen Übergang zu einem transparenten und kohärenten Ökosystem keine objektiven Daten für fundierte Entscheidungen liefern könne.