Yapay Zeka Botları Listesi: GPTBot, ClaudeBot ve Diğerleri için robots.txt Rehberi

Yapay zeka botları tablosu (24 bot, 11 şirket)

Her satır, şirketin kendi yayımladığı belgeye dayanır. "Tür" sütunu botun ne için geldiğini, "robots.txt'e uyar mı?" sütunu şirketin kendi beyanını gösterir. "Sınırlı" yazan botlar bir kullanıcının isteğiyle geldikleri için şirketleri robots.txt kurallarının uygulanmayabileceğini açıkça söylüyor.

Bot (robots.txt adı)	Şirket	Tür	robots.txt'e uyar mı?	Ne yapar, engellerseniz ne olur?	Resmi kaynak
GPTBot	OpenAI	Eğitim	Evet	Model eğitimi için tarar. Engellerseniz içeriğiniz eğitimde kullanılmaz.	OpenAI
OAI-SearchBot	OpenAI	Arama / dizin	Evet	ChatGPT aramasının dizinini besler. Engellerseniz ChatGPT arama yanıtlarında kaynak gösterilmezsiniz.	OpenAI
ChatGPT-User	OpenAI	Kullanıcı isteği	Sınırlı	Kullanıcı bir sayfayı sorduğunda o an getirir. OpenAI, istek kullanıcıdan geldiği için robots.txt kurallarının geçerli olmayabileceğini belirtir.	OpenAI
ClaudeBot	Anthropic	Eğitim	Evet	Model eğitimi için tarar. Crawl-delay yönergesini de destekler.	Anthropic
Claude-SearchBot	Anthropic	Arama / dizin	Evet	Claude'un arama sonuçları için dizinler. Engellerseniz Claude aramasında görünürlüğünüz düşer.	Anthropic
Claude-User	Anthropic	Kullanıcı isteği	Evet	Kullanıcı Claude'a bir soru sorduğunda sayfayı getirir. Engellerseniz Claude o soruda içeriğinize ulaşamaz.	Anthropic
Google-Extended	Google	Kontrol işareti	Evet	Ayrı bir bot değil, kontrol işaretidir. İçeriğin Gemini eğitiminde ve Gemini yanıtlarının dayandırılmasında kullanılıp kullanılmayacağını belirler. Google arama sıralamasını etkilemez.	Google
Google-CloudVertexBot	Google	Arama / dizin	Evet	Site sahiplerinin Vertex AI ajanları için talep ettiği taramaları yapar. Google aramasını etkilemez.	Google
PerplexityBot	Perplexity	Arama / dizin	Evet	Perplexity arama sonuçlarında siteleri göstermek ve bağlantı vermek için tarar.	Perplexity
Perplexity-User	Perplexity	Kullanıcı isteği	Sınırlı	Kullanıcı isteğiyle sayfa getirir. Perplexity, bu botun robots.txt kurallarını genellikle yok saydığını açıkça yazar.	Perplexity
Applebot	Apple	Arama / dizin	Evet	Siri ve Spotlight gibi arama özellikleri için tarar. Topladığı veri, aşağıdaki işaretle kapatılmadıkça Apple modellerinin eğitiminde de kullanılabilir.	Apple
Applebot-Extended	Apple	Kontrol işareti	Evet	Sayfa taramaz; yalnızca Applebot'un topladığı verinin model eğitiminde kullanılmasını kapatır. Arama sonuçlarında görünmeye devam edersiniz.	Apple
meta-externalagent	Meta	Eğitim	Evet	Temel yapay zeka modellerini eğitmek ve ürünleri geliştirmek için tarar.	Meta
meta-webindexer	Meta	Arama / dizin	Evet	Meta AI arama sonuçlarını iyileştirmek ve yanıtlarda kaynak göstermek için dizinler.	Meta
meta-externalfetcher	Meta	Kullanıcı isteği	Sınırlı	Kullanıcının istediği tek tek bağlantıları getirir. Meta, robots.txt kurallarını aşabileceğini belirtir.	Meta
Amazonbot	Amazon	Eğitim	Evet	Amazon ürünlerini geliştirmek için tarar; verisi Amazon yapay zeka modellerinin eğitiminde kullanılabilir. Crawl-delay yönergesini yok sayar.	Amazon
Amzn-SearchBot	Amazon	Arama / dizin	Evet	Amazon ürünlerindeki arama deneyimi için tarar. Üretken model eğitiminde kullanılmaz.	Amazon
Amzn-User	Amazon	Kullanıcı isteği	Sınırlı	Alexa sorguları gibi kullanıcı işlemleri için sayfa getirir. Amazon, tüm robots.txt yönergelerine uymayabileceğini belirtir.	Amazon
CCBot	Common Crawl	Eğitim	Evet	Kâr amacı gütmeyen açık web arşivini oluşturur. Arşiv herkese açık olduğundan pek çok dil modelinin eğitim verisine kaynaklık eder.	Common Crawl
MistralAI-Training	Mistral	Eğitim	Evet	Mistral modellerinin eğitim veri setleri için tarar.	Mistral
MistralAI-Index	Mistral	Arama / dizin	Belgelenmemiş	Mistral'ın arama özelliği için dizinler; eğitimde kullanılmaz. Belgede robots.txt davranışı açıkça yazmıyor.	Mistral
MistralAI-User	Mistral	Kullanıcı isteği	Evet	Kullanıcının sorusunu yanıtlamak için sayfa getirir. Hangi sitelere gidebileceğini robots.txt belirler.	Mistral
DuckAssistBot	DuckDuckGo	Arama / dizin	Evet	Kaynak gösteren yapay zeka destekli yanıtlar için sayfaları anlık getirir. Veri eğitimde kullanılmaz; engelleme 72 saat içinde geçerli olur ve organik sıralamayı etkilemez.	DuckDuckGo
Bytespider	ByteDance	Eğitim	Belgelenmemiş	TikTok'un sahibi ByteDance'in tarayıcısı. Davranışını anlatan resmi bir belge bulamadık; kesin engel gerekiyorsa sunucu ya da CDN düzeyinde kapatın.	Yok

Dağılım: 7 eğitim botu, 9 arama ve dizin botu, 6 kullanıcı isteği botu, 2 kontrol işareti.

Üç tür botu ayırt etmek neden önemli?

• Eğitim botları (GPTBot, ClaudeBot, CCBot gibi) içeriğinizi dil modellerinin eğitim verisine katmak için toplar. Engellemek sizi yapay zeka aramasından çıkarmaz.
• Arama ve dizin botları (OAI-SearchBot, Claude-SearchBot, PerplexityBot gibi) yapay zeka asistanlarının yanıt verirken başvurduğu dizini oluşturur. Bunları engellerseniz asistan sizi kaynak gösteremez. Hangi asistanın hangi dizini kullandığını ayrı bir rehberde anlattık.
• Kullanıcı isteği botları (ChatGPT-User, Claude-User, Perplexity-User gibi) kendiliğinden taramaz; biri asistana sizin sayfanızı sorduğunda gelir.

Hazır robots.txt: eğitime kapalı, aramaya açık

En sık istenen ayar budur: içeriğiniz model eğitiminde kullanılmasın, ama yapay zeka aramalarında kaynak gösterilmeye devam edin. Aşağıdaki blok tablodaki tüm eğitim botlarını ve eğitimi kontrol eden iki işareti (Google-Extended, Applebot-Extended) kapatır; arama ve kullanıcı botlarına dokunmaz.

# AI training: disallowed. AI search and user fetches: allowed.
# Kaynak / Source: https://www.hititmedya.com/blog/ai-crawlers-list-user-agents-robots-txt (2026-11-11)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: CCBot
User-agent: MistralAI-Training
User-agent: Bytespider
Disallow: /

Dosya olarak: robots-ai-egitime-kapali.txt

Hazır robots.txt: tüm yapay zeka botlarına kapalı

Bu blok tablodaki 24 adın hepsini kapatır. Bedeli şudur: ChatGPT, Claude, Perplexity ve benzeri asistanlar sizi kaynak olarak gösteremez.

# All documented AI crawlers: disallowed.
# Kaynak / Source: https://www.hititmedya.com/blog/ai-crawlers-list-user-agents-robots-txt (2026-11-11)
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Google-Extended
User-agent: Google-CloudVertexBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: CCBot
User-agent: MistralAI-Training
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: DuckAssistBot
User-agent: Bytespider
Disallow: /

Dosya olarak: robots-ai-tumune-kapali.txt

Tümüne açık kalmak için bir şey eklemeniz gerekmez; robots.txt dosyanızda bu adlar için bir engel yoksa botlar gelebilir.

En sık yapılan yedi hata

1. Google-Extended'i engellemenin Google aramasını etkileyeceğini sanmak. Google, bu işaretin arama dizinine dahil olmayı ve sıralamayı etkilemediğini açıkça yazar. Tersine, aramadaki yapay zeka özetleri normal Googlebot taramasına dayanır; Google-Extended'i kapatmak sizi oradan çıkarmaz.
2. Sunucu kayıtlarında Google-Extended ya da Applebot-Extended aramak. İkisinin de kendi isteği yoktur. Bunlar yalnızca robots.txt içinde anlam taşıyan kontrol işaretleridir.
3. Eğitimi kapatırken arama botlarını da kapatmak. GPTBot ile OAI-SearchBot, ClaudeBot ile Claude-SearchBot ayrı adlardır. Hepsini birden engellemek yapay zeka aramasındaki görünürlüğü de siler.
4. CCBot'u unutmak. Common Crawl arşivi herkese açıktır. Tek tek şirket botlarını kapatıp CCBot'u açık bırakmak, eğitim engelini büyük ölçüde boşa çıkarır.
5. robots.txt'i kesin bir engel sanmak. robots.txt bir ricadır. Kullanıcı isteğiyle gelen botların bir kısmı kuralları aşabileceğini kendi belgesinde yazıyor. Kesin engel için sunucu ya da CDN kuralı gerekir.
6. Güncel olmayan adları engellemek. Pek çok hazır listede anthropic-ai yer alır, ama Anthropic'in güncel belgesi yalnızca üç adı sayar: ClaudeBot, Claude-SearchBot ve Claude-User.
7. Alt alan adlarını unutmak. robots.txt her alan adı için ayrıdır. blog.ornek.com ve www.ornek.com kendi dosyasını ister.

Türkiye'de durum: 48 haber sitesini ölçtük

Kasım 2026'da 50 ulusal haber sitesinin robots.txt dosyasını inceledik; 48'i ölçülebildi. 10 site OpenAI botlarını engelliyor. Engelleyen 10 sitenin 7'sinde yapay zeka listesi birebir aynı ve bu listede CCBot ile Google-Extended yok. Yani bu siteler eğitimi kapatmak isterken en büyük iki kapıyı açık bırakıyor, üstelik arama botlarını da kapatarak yapay zeka aramalarındaki görünürlüklerinden vazgeçiyor. Site bazında tüm sonuçlar ve veri seti: Türk haber siteleri ve yapay zeka botları araştırması.

Bir botun gerçek olup olmadığını doğrulamak

User-agent metni kolayca taklit edilir. Kendini GPTBot olarak tanıtan her istek OpenAI'den gelmez. Güvenilir doğrulama, isteğin IP adresini şirketin yayımladığı listeyle karşılaştırmaktır:

• OpenAI: openai.com/gptbot.json
• Anthropic: claude.com/crawling/bots.json
• Perplexity: www.perplexity.ai/perplexitybot.json
• Common Crawl: index.commoncrawl.org/ccbot.json

OpenAI ve Perplexity her bot için ayrı liste yayımlar; adresleri tablodaki resmi kaynak sayfalarında bulabilirsiniz.

robots.txt'in ötesi: içerik kullanım sinyalleri

Bot adlarını tek tek saymak sürdürülebilir değil; liste sürekli değişiyor. Bu yüzden sektör, botu değil kullanım amacını belirten sinyallere yöneliyor. Cloudflare'in yönetilen robots.txt özelliği dosyaya Content-Signal: search=yes, ai-train=no biçiminde bir satır ekliyor. Google da belgelerinde, eğitim tercihini bildiren ortak AIPREF sinyalini 2027 başında desteklemeyi planladığını belirtiyor. Bu sinyaller yaygınlaşana kadar en güvenli yol, yukarıdaki listeyi güncel tutmaktır.

Bu veriyi kullanın

Tablonun tamamı makinece okunabilir biçimde yayımlanıyor: ai-crawlers.json. Kendi aracınızda, eklentinizde ya da yazınızda kullanabilirsiniz. Lisans CC BY 4.0: kaynak olarak bu sayfaya bağlantı vermeniz yeterlidir.

Kaynaklar

Tablodaki her bilgi 11 Kasım 2026 tarihinde aşağıdaki resmi belgelerden doğrulandı:

• OpenAI
• Anthropic
• Google
• Perplexity
• Apple
• Meta
• Amazon
• Common Crawl
• Mistral
• DuckDuckGo
• Cloudflare: managed robots.txt