Google, OpenAI und Anthropic führen einheitlichen Standard für KI-Training-Sperren ein

OPA NACHRICHTENDIENST, 31. Okt. (OPA) — Die Initiative basiert auf einem Vorschlag der Internet Engineering Task Force (IETF), der maßgeblich von Anthropic-Technikchef Kevin Kelley vorangetrieben wurde. Durch die Implementierung eines einheitlichen User-Agents können Webseitenbetreiber den Zugriff für KI-Crawler gezielt einschränken.

Nach dem neuen Standard können Betreiber den User-Agent «usage_ai-training» in ihre robots.txt-Dateien einfügen. Dies ermöglicht eine granulare Steuerung: Während allgemeines Scraping unterbunden wird, kann der Zugriff auf bestimmte Verzeichnisse, etwa für Pressematerial, weiterhin erlaubt bleiben. Google bestätigte, das Signal für seinen «Google-Extended»-Agenten zu interpretieren, der Daten für das Gemini-Modell sammelt.

Bisher mussten Administratoren für jeden KI-Anbieter individuelle Crawler konfigurieren, was zeitaufwendig und fehleranfällig war. Das neue Protokoll soll diesen fragmentierten Ansatz durch ein gemeinsames Signal ersetzen. Die Unternehmen wiesen darauf hin, dass die Richtlinie nicht rückwirkend gilt; bereits durch frühere Crawling-Aktivitäten erfasste Daten werden nicht entfernt.

Anthropic unterstützt die neue Richtlinie bereits. Microsoft und Google planen die Umsetzung für Anfang 2027, wobei Microsoft den 1. Februar als Termin nennt. OpenAI hat die Einführung für die kommenden Monate zugesagt. Die Änderung hat keine Auswirkungen auf die Standard-Indexierung durch Suchmaschinen, sodass die Auffindbarkeit in der Google-Suche erhalten bleibt.