Google, OpenAI ve Anthropic'ten yapay zeka eğitimi için ortak robots.txt standardı

OPA HABER AJANSI, 31 Eki (OPA) — Girişim, Anthropic teknik lideri Kevin Kelley öncülüğünde hazırlanan ve İnternet Mühendisliği Görev Gücü (IETF) tarafından sunulan bir öneriye dayanıyor. Yeni standart sayesinde site sahipleri, «usage_ai-training» kullanıcı aracısını robots.txt dosyalarına ekleyerek veri toplanmasını kısıtlayabilecek.

Bu direktif, daha hassas bir kontrol imkanı sunuyor. Site sahipleri, basın kitleri gibi belirli dizinlere erişime izin verirken genel veri kazıma işlemlerini engelleyebilecek. Google, bu sinyali Gemini modeli için veri toplayan «Google-Extended» aracısı için bir talimat olarak yorumlayacağını doğruladı.

Şu anda yöneticiler, her yapay zeka sağlayıcısı için ayrı tarayıcılar tanımlamak zorunda kalıyor; bu da zaman alıcı ve hata payı yüksek bir süreç. Yeni protokol, bu parçalı yapıyı ortak bir sinyalle değiştirmeyi hedefliyor. Ancak şirketler, direktifin geriye dönük olmadığını ve daha önce toplanan verilerin silinmeyeceğini belirtti.

Anthropic yeni direktif desteğini halihazırda entegre etti. Microsoft ve Google uygulamayı 2027 başı için planlarken, Microsoft tarih olarak 1 Şubat'ı işaret etti. OpenAI ise sinyali önümüzdeki aylarda benimseyeceğini taahhüt etti. Bu değişiklik, standart arama motoru indekslemeyi etkilemeyecek ve sitelerin Google Arama sonuçlarında görünür kalmasını sağlayacak.