{
  "name": "AI crawlers and user agents",
  "publisher": "Hitit Medya",
  "url": "https://www.hititmedya.com/blog/ai-crawlers-list-user-agents-robots-txt",
  "license": "https://creativecommons.org/licenses/by/4.0/",
  "lastVerified": "2026-11-11",
  "types": {
    "training": "collects data for model training",
    "search": "builds an AI search index",
    "user": "fetches a page on a user's request",
    "token": "control token without requests of its own"
  },
  "crawlers": [
    {
      "token": "GPTBot",
      "company": "OpenAI",
      "type": "training",
      "honorsRobotsTxt": "yes",
      "description": "Crawls for model training. Blocking it keeps your content out of training.",
      "descriptionTr": "Model eğitimi için tarar. Engellerseniz içeriğiniz eğitimde kullanılmaz.",
      "source": "https://developers.openai.com/api/docs/bots",
      "ipList": "https://openai.com/gptbot.json"
    },
    {
      "token": "OAI-SearchBot",
      "company": "OpenAI",
      "type": "search",
      "honorsRobotsTxt": "yes",
      "description": "Feeds the ChatGPT search index. Blocking it removes you from ChatGPT search answers.",
      "descriptionTr": "ChatGPT aramasının dizinini besler. Engellerseniz ChatGPT arama yanıtlarında kaynak gösterilmezsiniz.",
      "source": "https://developers.openai.com/api/docs/bots",
      "ipList": "https://openai.com/gptbot.json"
    },
    {
      "token": "ChatGPT-User",
      "company": "OpenAI",
      "type": "user",
      "honorsRobotsTxt": "limited",
      "description": "Fetches a page when a user asks about it. OpenAI says robots.txt rules may not apply because the user initiates the request.",
      "descriptionTr": "Kullanıcı bir sayfayı sorduğunda o an getirir. OpenAI, istek kullanıcıdan geldiği için robots.txt kurallarının geçerli olmayabileceğini belirtir.",
      "source": "https://developers.openai.com/api/docs/bots",
      "ipList": "https://openai.com/gptbot.json"
    },
    {
      "token": "ClaudeBot",
      "company": "Anthropic",
      "type": "training",
      "honorsRobotsTxt": "yes",
      "description": "Crawls for model training. Also supports the Crawl-delay directive.",
      "descriptionTr": "Model eğitimi için tarar. Crawl-delay yönergesini de destekler.",
      "source": "https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler",
      "ipList": "https://claude.com/crawling/bots.json"
    },
    {
      "token": "Claude-SearchBot",
      "company": "Anthropic",
      "type": "search",
      "honorsRobotsTxt": "yes",
      "description": "Indexes for Claude's search results. Blocking it reduces your visibility in Claude search.",
      "descriptionTr": "Claude'un arama sonuçları için dizinler. Engellerseniz Claude aramasında görünürlüğünüz düşer.",
      "source": "https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler",
      "ipList": "https://claude.com/crawling/bots.json"
    },
    {
      "token": "Claude-User",
      "company": "Anthropic",
      "type": "user",
      "honorsRobotsTxt": "yes",
      "description": "Fetches pages when a user asks Claude a question. Blocking it stops Claude from retrieving your content for that query.",
      "descriptionTr": "Kullanıcı Claude'a bir soru sorduğunda sayfayı getirir. Engellerseniz Claude o soruda içeriğinize ulaşamaz.",
      "source": "https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler",
      "ipList": "https://claude.com/crawling/bots.json"
    },
    {
      "token": "Google-Extended",
      "company": "Google",
      "type": "token",
      "honorsRobotsTxt": "yes",
      "description": "Not a separate bot but a control token. It decides whether content can be used for Gemini training and grounding. It does not affect Google Search ranking.",
      "descriptionTr": "Ayrı bir bot değil, kontrol işaretidir. İçeriğin Gemini eğitiminde ve Gemini yanıtlarının dayandırılmasında kullanılıp kullanılmayacağını belirler. Google arama sıralamasını etkilemez.",
      "source": "https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers",
      "ipList": null
    },
    {
      "token": "Google-CloudVertexBot",
      "company": "Google",
      "type": "search",
      "honorsRobotsTxt": "yes",
      "description": "Performs crawls that site owners request for Vertex AI agents. No effect on Google Search.",
      "descriptionTr": "Site sahiplerinin Vertex AI ajanları için talep ettiği taramaları yapar. Google aramasını etkilemez.",
      "source": "https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers",
      "ipList": null
    },
    {
      "token": "PerplexityBot",
      "company": "Perplexity",
      "type": "search",
      "honorsRobotsTxt": "yes",
      "description": "Crawls to surface and link websites in Perplexity search results.",
      "descriptionTr": "Perplexity arama sonuçlarında siteleri göstermek ve bağlantı vermek için tarar.",
      "source": "https://docs.perplexity.ai/guides/bots",
      "ipList": "https://www.perplexity.ai/perplexitybot.json"
    },
    {
      "token": "Perplexity-User",
      "company": "Perplexity",
      "type": "user",
      "honorsRobotsTxt": "limited",
      "description": "Fetches pages on user request. Perplexity states plainly that it generally ignores robots.txt rules.",
      "descriptionTr": "Kullanıcı isteğiyle sayfa getirir. Perplexity, bu botun robots.txt kurallarını genellikle yok saydığını açıkça yazar.",
      "source": "https://docs.perplexity.ai/guides/bots",
      "ipList": "https://www.perplexity.ai/perplexitybot.json"
    },
    {
      "token": "Applebot",
      "company": "Apple",
      "type": "search",
      "honorsRobotsTxt": "yes",
      "description": "Crawls for search features such as Siri and Spotlight. Its data may also train Apple models unless the token below opts you out.",
      "descriptionTr": "Siri ve Spotlight gibi arama özellikleri için tarar. Topladığı veri, aşağıdaki işaretle kapatılmadıkça Apple modellerinin eğitiminde de kullanılabilir.",
      "source": "https://support.apple.com/en-us/119829",
      "ipList": null
    },
    {
      "token": "Applebot-Extended",
      "company": "Apple",
      "type": "token",
      "honorsRobotsTxt": "yes",
      "description": "Does not crawl; it only opts Applebot's data out of model training. You can still appear in search results.",
      "descriptionTr": "Sayfa taramaz; yalnızca Applebot'un topladığı verinin model eğitiminde kullanılmasını kapatır. Arama sonuçlarında görünmeye devam edersiniz.",
      "source": "https://support.apple.com/en-us/119829",
      "ipList": null
    },
    {
      "token": "meta-externalagent",
      "company": "Meta",
      "type": "training",
      "honorsRobotsTxt": "yes",
      "description": "Crawls to train foundation AI models and improve products.",
      "descriptionTr": "Temel yapay zeka modellerini eğitmek ve ürünleri geliştirmek için tarar.",
      "source": "https://developers.facebook.com/docs/sharing/webmasters/web-crawlers",
      "ipList": null
    },
    {
      "token": "meta-webindexer",
      "company": "Meta",
      "type": "search",
      "honorsRobotsTxt": "yes",
      "description": "Indexes content to improve Meta AI search results and cite sources in answers.",
      "descriptionTr": "Meta AI arama sonuçlarını iyileştirmek ve yanıtlarda kaynak göstermek için dizinler.",
      "source": "https://developers.facebook.com/docs/sharing/webmasters/web-crawlers",
      "ipList": null
    },
    {
      "token": "meta-externalfetcher",
      "company": "Meta",
      "type": "user",
      "honorsRobotsTxt": "limited",
      "description": "Fetches individual links a user requests. Meta says it may bypass robots.txt rules.",
      "descriptionTr": "Kullanıcının istediği tek tek bağlantıları getirir. Meta, robots.txt kurallarını aşabileceğini belirtir.",
      "source": "https://developers.facebook.com/docs/sharing/webmasters/web-crawlers",
      "ipList": null
    },
    {
      "token": "Amazonbot",
      "company": "Amazon",
      "type": "training",
      "honorsRobotsTxt": "yes",
      "description": "Crawls to improve Amazon products; its data may train Amazon AI models. Ignores Crawl-delay.",
      "descriptionTr": "Amazon ürünlerini geliştirmek için tarar; verisi Amazon yapay zeka modellerinin eğitiminde kullanılabilir. Crawl-delay yönergesini yok sayar.",
      "source": "https://developer.amazon.com/amazonbot",
      "ipList": null
    },
    {
      "token": "Amzn-SearchBot",
      "company": "Amazon",
      "type": "search",
      "honorsRobotsTxt": "yes",
      "description": "Crawls for search experiences in Amazon products. Not used for generative model training.",
      "descriptionTr": "Amazon ürünlerindeki arama deneyimi için tarar. Üretken model eğitiminde kullanılmaz.",
      "source": "https://developer.amazon.com/amazonbot",
      "ipList": null
    },
    {
      "token": "Amzn-User",
      "company": "Amazon",
      "type": "user",
      "honorsRobotsTxt": "limited",
      "description": "Fetches pages for user actions such as Alexa queries. Amazon says it may not follow all robots.txt directives.",
      "descriptionTr": "Alexa sorguları gibi kullanıcı işlemleri için sayfa getirir. Amazon, tüm robots.txt yönergelerine uymayabileceğini belirtir.",
      "source": "https://developer.amazon.com/amazonbot",
      "ipList": null
    },
    {
      "token": "CCBot",
      "company": "Common Crawl",
      "type": "training",
      "honorsRobotsTxt": "yes",
      "description": "Builds the non-profit open web archive. Because the archive is public, it feeds the training data of many language models.",
      "descriptionTr": "Kâr amacı gütmeyen açık web arşivini oluşturur. Arşiv herkese açık olduğundan pek çok dil modelinin eğitim verisine kaynaklık eder.",
      "source": "https://commoncrawl.org/ccbot",
      "ipList": "https://index.commoncrawl.org/ccbot.json"
    },
    {
      "token": "MistralAI-Training",
      "company": "Mistral",
      "type": "training",
      "honorsRobotsTxt": "yes",
      "description": "Crawls to build training datasets for Mistral models.",
      "descriptionTr": "Mistral modellerinin eğitim veri setleri için tarar.",
      "source": "https://docs.mistral.ai/robots",
      "ipList": null
    },
    {
      "token": "MistralAI-Index",
      "company": "Mistral",
      "type": "search",
      "honorsRobotsTxt": "undocumented",
      "description": "Indexes for Mistral's search feature; not used for training. The documentation does not state its robots.txt behavior.",
      "descriptionTr": "Mistral'ın arama özelliği için dizinler; eğitimde kullanılmaz. Belgede robots.txt davranışı açıkça yazmıyor.",
      "source": "https://docs.mistral.ai/robots",
      "ipList": null
    },
    {
      "token": "MistralAI-User",
      "company": "Mistral",
      "type": "user",
      "honorsRobotsTxt": "yes",
      "description": "Fetches pages to answer a user's question. robots.txt governs which sites it may visit.",
      "descriptionTr": "Kullanıcının sorusunu yanıtlamak için sayfa getirir. Hangi sitelere gidebileceğini robots.txt belirler.",
      "source": "https://docs.mistral.ai/robots",
      "ipList": null
    },
    {
      "token": "DuckAssistBot",
      "company": "DuckDuckGo",
      "type": "search",
      "honorsRobotsTxt": "yes",
      "description": "Fetches pages in real time for AI-assisted answers that cite sources. Data is not used for training; an opt-out takes effect within 72 hours and does not affect organic rankings.",
      "descriptionTr": "Kaynak gösteren yapay zeka destekli yanıtlar için sayfaları anlık getirir. Veri eğitimde kullanılmaz; engelleme 72 saat içinde geçerli olur ve organik sıralamayı etkilemez.",
      "source": "https://duckduckgo.com/duckduckgo-help-pages/results/duckassistbot",
      "ipList": null
    },
    {
      "token": "Bytespider",
      "company": "ByteDance",
      "type": "training",
      "honorsRobotsTxt": "undocumented",
      "description": "The crawler of ByteDance, TikTok's owner. We found no official documentation of its behavior; if you need a firm block, enforce it at the server or CDN level.",
      "descriptionTr": "TikTok'un sahibi ByteDance'in tarayıcısı. Davranışını anlatan resmi bir belge bulamadık; kesin engel gerekiyorsa sunucu ya da CDN düzeyinde kapatın.",
      "source": null,
      "ipList": null
    }
  ]
}