Google, OpenAI et Anthropic unifient les règles de blocage pour l'entraînement de l'IA

DÉPÊCHE OPA, 31 oct. (OPA) — L'initiative repose sur une proposition de l'Internet Engineering Task Force (IETF), portée par Kevin Kelley, responsable technique chez Anthropic. En utilisant un agent utilisateur unifié, les propriétaires de sites peuvent désormais restreindre la collecte de données destinée spécifiquement aux modèles d'IA générative.

Grâce à ce nouveau standard, les administrateurs peuvent insérer l'agent «usage_ai-training» dans leurs fichiers robots.txt. Cette directive offre un contrôle granulaire, permettant d'autoriser l'accès à certains répertoires, comme les dossiers de presse, tout en interdisant le scraping global. Google a confirmé que ce signal sera interprété comme une directive pour son agent «Google-Extended», utilisé pour le développement de Gemini.

Jusqu'ici, les administrateurs devaient configurer individuellement chaque robot d'indexation, une tâche chronophage et source d'erreurs. Ce protocole vise à remplacer cette approche fragmentée par un signal commun. Les entreprises ont toutefois précisé que la directive n'est pas rétroactive et ne supprimera pas les données déjà ingérées par les modèles lors de crawls précédents.

Anthropic a déjà intégré ce support. Microsoft et Google prévoient une mise en œuvre pour début 2027, Microsoft ciblant le 1er février. OpenAI s'est engagé à adopter ce signal dans les prochains mois. Ce changement n'affecte pas l'indexation standard des moteurs de recherche, assurant la visibilité des sites dans les résultats Google.