Araç AT-W29REV. 2026-A
Yapay zekâ crawler kontrolü: ChatGPT, Claude ve Perplexity web sitenizi okuyabilir mi?
Bir yapay zekâ asistanının web sitenizi okuyup okuyamayacağı robots.txt'de yazar: her crawler için ayrı bir grup vardır, yoksa genel kural “User-agent: *” geçerlidir. Belirleyici olan amaçtır. GPTBot ve ClaudeBot eğitim için, OAI-SearchBot ve Claude-SearchBot yapay zekâ araması için toplar; ChatGPT-User ise sohbette biri sorduğunda bir sayfayı getirir. Kontrol, 27 crawler için kurallarınızı okur, llms.txt dosyasını denetler ve size uygun bloğu yazar.
- ücretsiz
- kayıt olmadan
- 5 dakika önbellek
01 / ERİŞİM
Alan adını girin, her crawler'ın erişimini görün
Erişim · robots.txt, llms.txt ve ana sayfa
Kontrol, kuralları bugün sunucuda nasıl duruyorsa öyle okur ve RFC 9309'a göre değerlendirir. Bir crawler'ın bunlara uyup uymadığına sahibi karar verir.
Erişim olmadan: robots.txt metnini yapıştırın
Örneğin henüz yayında olmayan bir dosya için. Metin tarayıcıda kalır; yukarıdaki yol geçerlidir.
02 / CRAWLER
Hangi yapay zekâ crawler'ları var ve ne için okuyorlar
Büyük sağlayıcılar tek bir crawler değil, amaca göre birkaç tane gönderir. Kurulumda en önemli nokta budur: “yapay zekâyı” dışarıda bırakan çoğu zaman yapay zekâ aramasından da düşer ve orada artık kaynak olarak gösterilmez. Web siteleri 2023'ten beri yapay zekâ sağlayıcılarını giderek daha çok engelliyor, hem de çok farklı biçimlerde; araştırmacılar kullanım koşulları ile robots.txt arasında sık sık çelişkiler buldu Longpre vd. 2024. Bu yüzden kontrol her crawler'ı ayrı gösterir.
| Tür | Kayıtlar | Ne yaparlar |
|---|---|---|
| Yapay zekâ araması | 11 | Bir yapay zekâ asistanının ya da arama motorunun kaynaklı cevaplar aldığı dizini oluşturur. Engellenirse sayfa orada daha seyrek kaynak olarak görünür ya da hiç görünmez. |
| Eğitim | 6 | Dil modellerinin öğrendiği içerikleri toplar. Yasak gelecekteki eğitim turlarını etkiler, zaten eğitilmiş modelleri etkilemez. |
| Eğitim anahtarı | 2 | Ayrı bir crawler değil. Kural, sahibine zaten getirdiği içeriği eğitim için kullanıp kullanamayacağını söyler. |
| Kullanıcı isteğiyle erişim | 7 | Bir insan o anda sorduğu için tek bir sayfayı getirir. Birçok işletmeci, robots.txt'nin bunun için geçerli olmadığını ya da her zaman geçerli olmadığını yazıyor. |
İki kayda ikinci kez bakmakta fayda var. Common Crawl kendisi model eğitmez, ama web'in serbestçe erişilebilen en büyük arşivini oluşturur; bu arşiv büyük dil modellerinin ön eğitimi için en önemli kaynaklardan biridir Baack 2024. Bilinen eğitim derlemi C4, örneğin tek bir bu tür kopyadan oluşturuldu Dodge vd. 2021. Eğitimi reddeden bu yüzden CCBot'u da engeller; ancak bir kopyada zaten bulunanı hiçbir kural geri almaz. İkincisi Googlebot'tur: Listede yer alır, çünkü Google aramasının yapay zekâ özetleri ve yapay zekâ modu onun dizinine dayanır. Google'da bulunmak isteyen onu engellemez.
Listedeki 27 crawler'ın tümü
| robots.txt'deki adı | Sahibi | Amaç | robots.txt işler mi | Sahibinin açıklaması |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | Yapay zekâ araması | evet, sahibine göre | ChatGPT'deki aramayı besler. Onu engelleyen, orada cevaplarda kaynak olarak görünmez. |
| Claude-SearchBot | Anthropic | Yapay zekâ araması | evet, sahibine göre | Claude'daki aramaya veri sağlar. Engellenirse sayfa orada sonuçlarda daha seyrek çıkar. |
| Googlebot | Yapay zekâ araması | evet, sahibine göre | Google aramasının crawler'ı. Yapay zekâ özetleri ve yapay zekâ modu da bu dizini kullanır; orada kontrol nosnippet, max-snippet ve noindex ile yapılır. | |
| PerplexityBot | Perplexity | Yapay zekâ araması | evet, sahibine göre | Perplexity'nin kaynak bağlantısı verdiği dizini oluşturur. Sahibine göre model eğitimi için değil. |
| Applebot | Apple | Yapay zekâ araması | evet, sahibine göre | Siri, Spotlight ve Safari'deki arama için crawler. Apple'a göre veriler Apple'ın modellerinin eğitimine de girebilir; bunun için Applebot-Extended vardır. |
| meta-webindexer | Meta | Yapay zekâ araması | evet, sahibine göre | Meta'nın içerikleri alıntılayıp bağlantı verebilmesi için Meta AI'daki arama amacıyla dizine ekler. |
| Amzn-SearchBot | Amazon | Yapay zekâ araması | evet, sahibine göre | Alexa gibi Amazon ürünlerindeki arama işlevleri için; Amazon'a göre eğitim için değil. |
| bingbot | Microsoft | Yapay zekâ araması | evet, sahibine göre | Bing'in crawler'ı. Microsoft ayrı bir yapay zekâ kimliği belirtmiyor; eğitim ve yapay zekâ cevapları için ayarlar Şubat 2027'den itibaren Bingbot'a yöneliktir. |
| MistralAI-Index | Mistral | Yapay zekâ araması | evet, sahibine göre | Yalnızca arama dizini için tarar, Mistral'e göre eğitim için değil. |
| DuckAssistBot | DuckDuckGo | Yapay zekâ araması | evet, sahibine göre | DuckDuckGo'nun yapay zekâ cevapları için sayfaları anlık getirir, kaynak göstererek. Sahibine göre eğitim için değil. |
| YouBot | You.com | Yapay zekâ araması | evet, sahibine göre | You.com arama motorunun crawler'ı. Crawl-delay dahil robots.txt'ye uyar. |
| GPTBot | OpenAI | Eğitim | evet, sahibine göre | OpenAI'nin modellerinin eğitimine girebilecek içerikleri toplar. OpenAI'ye göre engellenmesi, eğitim için kullanılmaması anlamına gelir. |
| ClaudeBot | Anthropic | Eğitim | evet, sahibine göre | Anthropic'in modellerinin eğitimine girebilecek içerikleri toplar. Anthropic, robots.txt'ye ve Crawl-delay'e de uyar. |
| meta-externalagent | Meta | Eğitim | evet, sahibine göre | Yapay zekâ modellerinin eğitimi ve Meta'nın ürünleri için toplar. |
| Amazonbot | Amazon | Eğitim | evet, sahibine göre | Amazon'un ürünlerini geliştirir; bu, Amazon'un yapay zekâ modellerinin eğitimini de kapsayabilir. Crawl-delay'e uymaz. |
| MistralAI-Training | Mistral | Eğitim | evet, sahibine göre | Mistral modellerinin eğitim verileri için içerik toplar. |
| CCBot | Common Crawl | Eğitim | evet, sahibine göre | Web'in serbestçe erişilebilen bir arşivini oluşturur. Common Crawl kendisi bir şey eğitmez, ama arşiv eğitim verileri için en önemli kaynaklardan biridir. |
| Google-Extended | Eğitim anahtarı | evet, sahibine göre | Ayrı bir crawler değil, bir anahtar: Google'ın getirdikleri gelecekteki Gemini modellerinin eğitimine ve Gemini cevaplarının dayanağına girebilir mi? Google'a göre Google aramasını etkilemez. | |
| Applebot-Extended | Apple | Eğitim anahtarı | evet, sahibine göre | Ayrı bir crawler değil. Engellenirse Apple içerikleri kendi modellerinin eğitimi için kullanmaz; sayfa aramada kalır. |
| ChatGPT-User | OpenAI | Kullanıcı isteğiyle erişim | her zaman değil | Biri ChatGPT'de sorduğunda bir sayfayı getirir. OpenAI'ye göre robots.txt kuralları bunun için geçerli olmayabilir. |
| Claude-User | Anthropic | Kullanıcı isteğiyle erişim | evet, sahibine göre | Kullanıcılar Claude'da soru sorduğunda sayfaları getirir. Anthropic, botlarının robots.txt'ye uyduğunu yazıyor. |
| Google-Agent | Kullanıcı isteğiyle erişim | her zaman değil | Bir kullanıcı adına gezinir ve işlemler yapar. Google'a göre kullanıcı isteğiyle erişimler robots.txt'yi genelde dikkate almaz. | |
| Perplexity-User | Perplexity | Kullanıcı isteğiyle erişim | her zaman değil | Bir kullanıcı sorduğunda sayfaları getirir. Perplexity'ye göre robots.txt'yi genelde dikkate almaz. |
| meta-externalfetcher | Meta | Kullanıcı isteğiyle erişim | her zaman değil | Kullanıcı isteğiyle tek tek bağlantıları getirir, yapay zekâ ajanları için de. Meta'ya göre robots.txt'yi atlayabilir. |
| Amzn-User | Amazon | Kullanıcı isteğiyle erişim | her zaman değil | Bir kullanıcı sorusu için, örneğin Alexa'ya sorulan, güncel verileri getirir. Amazon'a göre tüm robots.txt kurallarına uymaz. |
| MistralAI-User | Mistral | Kullanıcı isteğiyle erişim | evet, sahibine göre | Bir kullanıcı sorduğunda bir sayfayı getirir ve kaynak olarak bağlantısını verir. Mistral'e göre hangi sayfaların bunun için uygun olduğunu robots.txt grubu belirler. |
| Bytespider | ByteDance | belirsiz | kanıtlanmamış | Sahibine ait belge bulunamadı. Amacı ve robots.txt'ye nasıl davrandığı kanıtlanmamış. |
Listeye alınmayanlar: Bot dizinlerinde geçen, ama sahibinin kendisinin belirtmediği adlar (örneğin anthropic-ai ya da cohere-ai). Cohere kendi belgelerine göre şu anda crawler işletmiyor; Microsoft ayrı bir yapay zekâ kimliği belirtmiyor, yapay zekâya dair ayarları bingbot'a yönelik. Güncelleme: 14 Kasım 2026.
03 / OLUŞTURUCU
Eğitimi engelleyin, yapay zekâ aramasına izin verin: uygun blok
İşletmelerin çoğu aynı şeyi ister: ChatGPT, Claude ya da Perplexity'nin cevaplarında kaynak olarak görünmek, ama sorulmadan eğitim malzemesi vermemek. Oluşturucu buna göre önceden ayarlıdır. Her grubu ayrı ve yalnızca joker karakter (wildcard) kullanmadan Allow ve Disallow ile yazar, çünkü ticari crawler'lar da bazı kuralları tekrar tekrar yanlış anlıyor Giles vd. 2010. Bloğu mevcut robots.txt dosyanıza eklersiniz; “User-agent: *” grubu olduğu gibi kalır.
Oluşturucu · robots.txt bloğu
Oluşturucu tarayıcıda çalışır ve hiçbir şey göndermez.
Oluşturucu · llms.txt taslağı
Tarayıcıda çalışır. Dosya, llms.txt adıyla web sitesinin kök dizinine konur.
En sık tuzak: Gruplar hiçbir şey devralmaz
Bir crawler tam olarak kendi adını taşıyan gruba uyar. Böyle bir grup varsa genel kural onun için artık geçerli olmaz, kısmen bile. Sağdaki örnekte “User-agent: *” /intern/ bölümünü engelliyor, ama GPTBot “Allow: /” içeren kendi grubunu alıyor.
/intern/preise için sonuç: ClaudeBot engelli (Satır 2: Disallow: /intern/ (Grup *)), GPTBot ise okuyabilir (Satır 5: Allow: / (Grup GPTBot)). Bu yüzden herkese kapalı olması gereken her şey, adı belirtilen her gruba da yazılmalıdır. Oluşturucuda bu bölümleri bir kez girersiniz, o her yerde tekrarlar.
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
Ortak eğitim sinyali
30 Ekim 2026'dan beri IETF'de, tek tek engellemeyi kısaltması amaçlanan bir taslak var: “Disallow: /” içeren bir “User-agent: __usage_ai-training” grubu, katılan tüm sağlayıcılara tek seferde eğitim istemediğinizi söyler. Yollar her zamanki gibi çalışır; “Allow: /presse/” basın dosyasını hariç tutar. Grup bir crawling komutu değildir ve genel kural “User-agent: *” bunun için açıkça sayılmaz. Taslak yeni olduğu ve henüz her sağlayıcı bunu dikkate almadığı için oluşturucu ikisini de yazar: tek tek grupları ve sinyali.
| Sağlayıcı | Ne zamandan beri |
|---|---|
| Anthropic | 30 Ekim 2026'dan beri; adı belirtilen bir ClaudeBot grubu önceliklidir |
| Microsoft (Bing) | 1 Şubat 2027'den itibaren |
| 2027 için planlanıyor; ayrı bir Google-Extended grubu yoksa Google bir “hayır”ı o zaman engellenmiş Google-Extended gibi değerlendirecek | |
| OpenAI | “önümüzdeki aylarda”; GPTBot kuralları geçerliliğini korur |
Kaynak: draft-kelley-aipref-training-preference-signal-00, standart statüsü yok, 3 Mayıs 2027'de sona eriyor. Güncelleme: 14 Kasım 2026.
04 / KURALLAR
Bir crawler robots.txt dosyanızı böyle okur
Bu yöntem Eylül 2022'den beri RFC 9309 olarak tanımlıdır ve kontrol de buna göre hesaplar. Dosya her zaman kök dizinde /robots.txt altında bulunur ve yalnızca tam o host için geçerlidir: firmaniz.de, www.firmaniz.de adresine yönlendiriyorsa www.'daki dosya geçerlidir. Crawler, büyük-küçük harf fark etmeksizin kendi adını taşıyan grubu arar; yoksa “User-agent: *” grubunu alır, o da yoksa her şeyi okuyabilir. Grup içinde en uzun eşleşen kural kazanır, eşitlikte Allow. Yıldız herhangi bir karakter dizisini, sondaki dolar işareti ise adresin sonunu ifade eder.
Daha 2007'de 7.593 web sitesi üzerinde yapılan bir inceleme, dosyanın giderek daha sık kullanıldığını ve aynı zamanda ne olduğunu gösterdi: dürüst crawler'ların uyduğu bir kural, zorlayıcı bir araç değil Sun vd. 2007. Bu konuda hiçbir şey değişmedi.
| Cevap | RFC 9309 | |
|---|---|---|
| 200, metin dosyası | Kurallar geçerli, en az 500 KiB okunur | aynı şekilde, 500 KiB'tan sonrası yok sayılır |
| 200, ama bir web sayfası | geçerli satır yok, yani kural yok | aynı şekilde |
| 404 ve diğer 4xx | robots.txt yok, her şeye izin var | her şeye izin var, 429 hariç |
| 429 çok fazla istek | 4xx gibi | sunucu hatası gibi |
| 5xx ya da erişilemiyor | her şey engelli | 12 saat crawling yok, sonra 30 güne kadar son geçerli sürüm |
| Yönlendirme | en az beşini izle | en az beş, sonra 404 gibi |
Google dosyayı genelde 24 saate kadar, Amazon 30 güne kadar saklar. Bu yüzden değişiklikler hemen etkili olmaz. Bizim erişimimiz en fazla üç yönlendirmeyi izler. Güncelleme: 14 Kasım 2026.
Sayfaların kendisindeki bilgiler
robots.txt'nin yanında sayfa bazında bilgiler de vardır: head bölümünde meta etiketi ya da sunucu yanıtında X-Robots-Tag olarak. Kontrol bunları ana sayfada okur. Yapay zekâ için en önemlileri şunlardır: noindex sayfayı arama dizininden ve böylece yapay zekâ özetlerinden de çıkarır; nosnippet Google'da metin alıntısını yasaklar, yapay zekâ özetlerinde ve yapay zekâ modunda da. Amazon noarchive'ı “eğitim için değil” olarak okur. Microsoft 1 Şubat 2027'den itibaren eğitim ve dayanak (grounding) için kendi yönergelerini sunuyor (ai-training, ai-grounding) ve Mart 2027'den itibaren noarchive ile nocache'i artık yapay zekâ ayarı olarak okumayacak. “noai” gibi bilgiler yaygın, ama listemizdeki hiçbir sahip tarafından belgelenmemiş.
05 / SINIRLAR
robots.txt'nin yapamadıkları
- Bir ricadır. 40 gün boyunca adı belirtilen 130 botla yapılan deneylerde botlar sıkı kurallara daha seyrek uydu, yapay zekâ arama crawler'ları dosyayı çoğu zaman hiç sorgulamadı Kim vd. 2025.
- Yalnızca adlarla işler. Özel hazırlanmış web siteleriyle hangi getiricinin hangi yapay zekâ sistemine veri sağladığı kanıtlanabildi; aralarında sahibinin açıklamadığı birkaç tane de vardı Seiden vd. 2026. Başka bir adla gelen hiçbir kurala takılmaz.
- Kullanıcı isteğiyle erişimler bazen robots.txt'yi atlar. OpenAI, Perplexity, Meta, Amazon ve Google, kullanıcı isteğiyle yaptıkları erişimlerin robots.txt'ye her zaman uymadığını kendileri yazıyor. Anthropic ve Mistral ise bunun için de dosyayı kontrol aracı olarak gösteriyor.
- Kesin engeller sunucudadır. Sanatçıların robots.txt için çoğu zaman bilgisi ya da kendi web sitelerine erişimi yoktu; reverse proxy'deki engeller daha etkili koruma sağladı Liu vd. 2025. Tersine, bazı hosting firmaları ve site kurucuları, sahibi bilmeden crawler'ları engelliyor: Bir Common Crawl kopyasında web sitelerinin yaklaşık %1,68'i crawler'ı açıkça reddetti Ansar vd. 2025. Ana sayfanız erişimimize bir doğrulama sayfasıyla cevap verirse kontrol bunu bildirir.
- Bizim erişimimiz bir yapay zekâ crawler'ı değildir. Sunucu kendi kimliğiyle erişir. Bir güvenlik duvarı crawler'ları adlarına göre engelliyorsa, örneğin Cloudflare'deki bir ayarla, kontrol bunu görmez.
Peki hukuken?
§ 44b Abs. 3 UrhG uyarınca serbestçe erişilebilen eserlerde metin ve veri madenciliği (Text und Data Mining), hak sahibi bunu saklı tutmadığı sürece serbesttir; internetteki içeriklerde yalnızca makine tarafından okunabilir biçimdeki bir çekince geçerlidir. robots.txt makine tarafından okunabilir, ama çekince olarak yeterli olup olmadığı kesin olarak netleşmemiştir. Hukuki bir çalışma, common law ülkeleri için dosyanın göz ardı edilmesinin belirli koşullarda sorumluluk doğurabileceğini savunuyor Chang ve He 2025; Almanya için bu ayrıca incelenmelidir. Çekince bildirmek isteyen, bu yüzden bunu ek olarak künyeye (Impressum) ya da kullanım koşullarına yazar. Bu bir hukuki danışmanlık değildir.
06 / LLMS.TXT
llms.txt: dosyanın yapabildikleri ve yapamadıkları
llms.txt'yi Jeremy Howard 3 Eylül 2024'te önerdi; açıklaması llmstxt.org adresinde. /llms.txt altında bir Markdown dosyasıdır: adı içeren bir başlık (tek zorunlu kısım budur), ardından alıntı biçiminde kısa bir açıklama, isteğe bağlı birkaç cümle ve en önemli sayfalara bağlantı listeleri içeren bölümler. “Optional” adlı bir bölüm, bir asistanın atlayabileceği şeyleri içerir.
Yaklaşık 4 milyon alan adı üzerinde yapılan bir ölçüm, dosyayı en çok teknoloji firmalarında buldu; bazı bağlantıları da kendi robots.txt'lerinin engellediği sayfalara gidiyordu Hoffmann vd. 2026. Kontrol tam olarak bunu denetler. Engellenmiş sayfaları gösteren bir yol tabelası boşa çıkar.
Açıkçası: Google, yapay zekâ özetleriyle ilgili belgelerinde bunun için yeni makine tarafından okunabilir dosyalar oluşturmanın gerekmediğini yazıyor ve burada listelenen sahiplerden hiçbiri crawler belgelerinde başka web sitelerinin llms.txt dosyasını okuduğunu belirtmiyor. Yani görünürlük için bir kaldıraç değildir. Yine de mantıklıdır: bir asistanın kullanıcı isteğiyle erişimde okuyabileceği kısa, düzgün bir tanıtım olarak ve on dakikada hazır olduğu için.
Bizimki aureum-tech.com/llms.txt adresinde. Sizinkinin taslağını yukarıdaki oluşturucu hazırlar.
07 / GÖRÜNÜRLÜK
Okuyabilmek, adınızın geçmesi demek değildir
Kontrol bir ön soruyu cevaplar. Biri Plauen'de bir elektrikçi aradığında ChatGPT'nin firmanızı anıp anmaması, sayfalarınızın içeriğine ve başkalarının sizin hakkınızda yazdıklarına bağlıdır. Deneylerde kaynakların yapay zekâ cevaplarındaki görünürlüğü, içeriğin hazırlanışıyla %40'a kadar artırılabildi; konu alanına göre farklı yöntemlerle Aggarwal vd. 2024. Google'da 55.393 arama sorgusuyla yapılan bir ölçümde vakaların %13,7'sinde, soru biçimindeki sorgularda %64,7'sinde yapay zekâ özeti çıktı; orada alıntılanan alan adlarının %30'a yakını ilk sayfanın sonuçları arasında değildi Xu vd. 2026.
Adınızın geçmesi, doğru alıntılanmak demek de değildir. Dört yapay zekâ arama motorunda cümlelerin ortalama ancak yarısından biraz fazlası gösterilen kaynaklarla destekleniyordu Liu vd. 2023. Google'ın yapay zekâ crawler'ını engelleyen ise, Google anahtarın aramayı etkilemediğini yazsa da yapay zekâ özetlerinde daha seyrek kaynak olarak kullanılıyor Grossman vd. 2026.
Firmanızın ChatGPT, Perplexity ve Google'ın yapay zekâsında gerçekte ne kadar görünür olduğunu SpotLens hızlı kontrolü gösterir. İçerikleri ve yapılandırılmış verileri yapay zekâ aramalarının alıntılayacağı şekilde nasıl kurduğumuzu AI-SEO sayfasında bulursunuz. Önce kendisi bakmak isteyen, rehberde ChatGPT'deki görünürlüğün nasıl kontrol edildiğini ve işletmeler için yapay zekâ görünürlüğünün ne anlama geldiğini okuyabilir. Tek tek kuralları robots.txt test aracında test edersiniz; bulunabilirlik için diğer araçlar SEO ve görünürlük altında.
08 / ARAŞTIRMA
Araştırmalar bu konuda ne diyor
Kontroldeki değerlendirme 15 hakemli çalışmaya dayanıyor. Burada en önemli bulgular var; kontrol notlu tam liste aşağıda.
- Engellemeler artıyor, hem de eşit olmayan biçimde. Bir yıl içinde yapay zekâ eğitim verilerinin arkasındaki kaynakların büyük bölümü engellendi, sağlayıcıya göre farklı biçimde Longpre vd. 2024. Bu yüzden kontrol crawler'ları ayrı ayrı gösterir.
- Kurallara seçici olarak uyuluyor. Kural ne kadar sıkıysa botlar ona o kadar seyrek uydu Kim vd. 2025. Bu yüzden kontrol ölçemeyeceği bir şeyi ölçmez ve bunu açıkça söyler.
- Eğitim arşivler üzerinden yürüyor. Common Crawl ön eğitim için en önemli kaynaklardan biridir Baack 2024 ve C4 gibi derlemler tek tek kopyalardan oluşur Dodge vd. 2021. Bu yüzden CCBot açık kalırsa kontrol uyarır.
- Yapay zekâ özetleri kendi kaynaklarını seçer. Alıntılanan alan adlarının birçoğu ilk sayfada yer almıyor Xu vd. 2026 ve yapay zekâ crawler'larını engelleyen siteler daha seyrek anılıyor Grossman vd. 2026.
- llms.txt yeni ve çoğu zaman çelişkili. Dosyadaki bağlantılar kısmen engellenmiş sayfalara gidiyor Hoffmann vd. 2026; kontrol kendi alan adınızdaki her bağlantıyı denetler.
09 / YAPAY ZEKÂ ASİSTANLARI İÇİN
Bu aracı bir yapay zekâ asistanı üzerinden kullanın
Claude ya da ChatGPT gibi Model Context Protocol (MCP) destekleyen asistanlar, bu sayfadaki hesabı baştan kurmak yerine doğrudan çağırabilir. Sunucu herkese açıktır, kayıt gerektirmez ve hiçbir şey kaydetmez. Cevapta her zaman bu sayfanın bağlantısı, verilerin tarihi ve sonucun sınırları yer alır.
- Uç nokta
https://aureum-tech.com/mcp- Araç
werkzeug_ki_crawler_check- Aktarım
- Streamable HTTP, salt okunur
| Ad | Zorunlu | Anlamı |
|---|---|---|
domain | hayır | Web sitesinin alan adı, örn. firmaniz.de ya da https://www.firmaniz.de. Yol yok sayılır, robots.txt her zaman kök dizindedir. Yalnızca herkese açık web siteleri ve 80 ya da 443 numaralı portlar. |
robots_txt | hayır | Alan adı yerine: erişim olmadan değerlendirilen bir robots.txt metni. domain ile birlikte verilmez. |
pfad | hayır | Kontrol edilecek yol, örn. /blog/artikel. Boş bırakılırsa ana sayfa “/”. |
Bir asistanın bu aracı çağırması gereken sorular
- “ChatGPT, handwerk-muster.de web sitemi okuyabilir mi?”
- “robots.txt dosyamız yanlışlıkla Perplexity ve ChatGPT'nin yapay zekâ aramasını engelliyor mu?”
- “Yapay zekâ eğitimini nasıl yasaklarım, ama ChatGPT ve Claude aramasında görünür kalırım?”
- “www.beispiel-praxis.de'nin bir llms.txt dosyası var mı ve bağlantıları engellenmiş sayfalara mı gidiyor?”
Bağlantının nasıl çalıştığını ve MCP'nin kendi işletmenizde neler yapabileceğini MCP entegrasyonları sayfasında okuyabilirsiniz.
10 / SIK SORULAN SORULAR
Yapay zekâ crawler'ları, robots.txt ve llms.txt hakkında sık sorulan sorular
ChatGPT aramasından düşmeden yapay zekâ eğitimini nasıl engellerim?
OpenAI ikisini ayırır: GPTBot eğitim için, OAI-SearchBot ise ChatGPT'deki arama için toplar ve her ayar kendi başına geçerlidir. Yani robots.txt'de GPTBot “Disallow: /”, OAI-SearchBot “Allow: /” alır. Anthropic'te aynısı ClaudeBot ve Claude-SearchBot için geçerlidir; Google'da Google-Extended'ı engellersiniz, Googlebot'a dokunmazsınız. Bu sayfadaki oluşturucu, listedeki tüm sağlayıcılar için bloğun tamamını yazar.
GPTBot, OAI-SearchBot ve ChatGPT-User arasındaki fark nedir?
GPTBot, gelecekteki modellerin eğitiminde kullanılabilecek içerikleri toplar. OAI-SearchBot, ChatGPT'nin bir aramada kaynak gösterdiği dizini oluşturur; OpenAI'ye göre onu engelleyen site orada cevaplarda görünmez. ChatGPT-User ise sohbette biri o anda sorduğu için tek bir sayfayı getirir. OpenAI'ye göre bu erişim için robots.txt kuralları geçerli olmayabilir.
Google-Extended'ı engellersem sitem Google'dan çıkar mı?
Hayır. Google-Extended ayrı bir crawler değil; Google'ın getirdiği içerikleri Gemini eğitimi ve Gemini cevaplarının dayanağı (grounding) için kullanıp kullanamayacağını belirleyen bir anahtardır. Google'a göre ne aramaya alınmayı ne de sıralamayı etkiler. Google aramasındaki yapay zekâ özetleri (AI Overviews) Googlebot'a ve nosnippet gibi snippet kurallarına bağlıdır. Ancak 2026'da yapılan bir ölçüm, Google'ın yapay zekâ crawler'ını engelleyen sayfaları yapay zekâ özetlerinde daha seyrek kaynak olarak buldu.
llms.txt dosyasına ihtiyacım var mı?
Zorunlu değil. llms.txt, Jeremy Howard'ın Eylül 2024'te yaptığı bir öneridir: başlık, kısa açıklama ve en önemli sayfalara bağlantılar içeren bir Markdown dosyası. Google, yapay zekâ özetleri için yeni makine tarafından okunabilir dosyalara gerek olmadığını açıkça yazıyor ve burada listelenen sahiplerden hiçbiri crawler belgelerinde bu dosyayı okuduğunu belirtmiyor. Zararı yok ve çabucak hazırlanır; taslağını oluşturucu verir. Daha önemlisi, içindeki bağlantıların engellenmiş sayfalara gitmemesidir.
Her crawler robots.txt'ye uyar mı?
Hayır. robots.txt bir ricadır, kilit değildir. Ölçümler, botların sıkı kurallara daha az uyduğunu ve yapay zekâ arama crawler'larının dosyayı çoğu zaman hiç sorgulamadığını gösteriyor. ChatGPT-User, Perplexity-User ya da meta-externalfetcher gibi kullanıcı isteğiyle erişimler, sahiplerinin açıklamasına göre kısmen robots.txt'yi atlar; isim vermeden toplayan ise hiçbir kurala takılmaz. Gerçekten engellemek isteyen, sunucuda ya da hosting firmasında bir engele ihtiyaç duyar.
Engelleme, zaten eğitilmiş modeller için de geçerli mi?
Hayır. OpenAI ve Anthropic engellemeyi gelecekteki eğitim için bir işaret olarak tanımlıyor. Eğitim verileri, örneğin Common Crawl arşivi gibi web'in sabit kopyalarından oluşur; orada olan, orada kalır. Bu yüzden eğitimi reddediyorsanız CCBot'u da hesaba katmanızda fayda var.
“User-agent: __usage_ai-training” ne anlama geliyor?
Bu, 30 Ekim 2026 tarihli bir IETF taslağına göre ortak eğitim sinyalidir. Bu adı taşıyan ve “Disallow: /” içeren bir grup, katılan tüm sağlayıcılara tek seferde eğitim istemediğinizi söyler. Anthropic kendi açıklamasına göre bunu zaten dikkate alıyor, Microsoft 1 Şubat 2027'den itibaren dikkate alacak, Google 2027 için planlıyor, OpenAI ise önümüzdeki aylarda. Bir crawling komutu değildir ve “User-agent: *” grubu bunun için açıkça sayılmaz.
Yapay zekâ crawler kontrolü nerede biter?
Kontrol, robots.txt kurallarınızı, llms.txt dosyasını ve ana sayfadaki robots bilgilerini okur ve her crawler için neye izin verildiğini söyler. Bir crawler'ın bunlara uyup uymadığını ölçmez; bir yapay zekâ asistanının firmanızı tanıyıp tavsiye edip etmediğini de ölçmez. Bunu SpotLens hızlı kontrolü (Quick-Check) gösterir; içeriklerin yapay zekâ aramalarında alıntılanması için nasıl hazırlanması gerektiği AI-SEO sayfasında anlatılıyor. Dosyaları isterseniz sizin için biz kurarız.
11 / ÇALIŞMALAR VE KAYNAKLAR
Bu araç neye dayanıyor
Yukarıdaki referans değerler ve notlar bu 15 bilimsel çalışmaya dayanır. Her biri DOI kaydı ya da yayınevinin sayfası üzerinden kontrol edildi (en son 14 Kasım 2026'da): Çalışma var, geri çekilmemiş ve bulgusu bu soru için bugün de geçerli.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), s. 1123–1124
Bulgu 7.593 web sitesi üzerinde yapılan beş inceleme, robots.txt'nin giderek daha sık kullanıldığını gösteriyor. Dosya zorlayıcı bir araç değil, dürüst crawler'ların uyduğu bir kuraldır.
Araçta Sayfanın temel ilkesini taşır: robots.txt crawler'lara bir ricadır, kilit değildir.
doi.org/10.1145/1242572.1242726 · Konferans bildirisi
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), s. 1101–1102
Bulgu Ticari crawler'ların çoğu kurallara uygun davrandı, ama birçoğu belirli robots.txt kurallarını tekrar tekrar ihlal etti ya da yanlış anladı.
Araçta Bu yüzden oluşturucu her grubu ayrı ve yalnızca joker karakter kullanmadan Allow ve Disallow ile yazar.
doi.org/10.1145/1772690.1772824 · Konferans bildirisi
Kim, T.; Bock, K.; Luo, C. vd. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 541–557
Bulgu 40 gün boyunca adı belirtilen 130 botla yapılan kontrollü deneylerde botlar daha sıkı kurallara daha seyrek uydu; yapay zekâ arama crawler'ları robots.txt'yi çoğu zaman hiç sorgulamadı.
Araçta “Kuralları oku, davranışı ölçme” sınırını ve engellenmiş kullanıcı isteğiyle erişimlerle ilgili notu gerekçelendirir.
doi.org/10.1145/3730567.3764471 · Konferans bildirisi
Liu, E.; Luo, E.; Shan, S. vd. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 78–99
Bulgu Ölçümler ve 203 sanatçıyla yapılan bir anket, robots.txt'ye büyük ihtiyaç olduğunu, ama bilgi ve kendi web sitesine erişim konusunda engeller bulunduğunu gösteriyor. Reverse proxy'deki engeller daha etkili korudu, ama pek yaygın değil.
Araçta Kesin bir engel için hosting firmasını ya da proxy'yi işin içine katma tavsiyesi ve hiçbir teknik terim bilgisi gerektirmeyen oluşturucu buradan gelir.
doi.org/10.1145/3730567.3732913 · Konferans bildirisi
Seiden, S.; Ren, T.; Zhang, C. vd. (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026), s. 6998–7012
Bulgu Özel hazırlanmış web siteleri ve 22 yapay zekâ sistemiyle hangi getiricinin hangi modele veri sağladığı eşleştirilebildi; aralarında sahibinin açıklamadığı birkaç tane de vardı.
Araçta Tablonun yalnızca sahibinin kendi adıyla belgelediği crawler'ları tanıdığı sınırını taşır.
doi.org/10.1145/3830454.3846799 · Konferans bildirisi
Longpre, S.; Mahari, R.; Lee, A. vd. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), s. 108042–108087
Bulgu Yapay zekâ eğitim verilerinin arkasındaki 14.000 alan adının incelenmesi, bir yıl içinde engellemelerde güçlü bir artış, yapay zekâ sağlayıcıları arasında büyük farklar ve kullanım koşulları ile robots.txt arasında sık çelişkiler buldu.
Araçta Bu yüzden kontrol yalnızca “yapay zekâya izin var” ya da “yapay zekâ engelli” demek yerine her crawler'ı ayrı gösterir.
doi.org/10.52202/079017-3431 · Konferans bildirisi
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024), s. 2199–2208
Bulgu Common Crawl, serbestçe erişilebilen en büyük web verisi koleksiyonu ve büyük dil modellerinin ön eğitimi için en önemli kaynaklardan biridir; eğitim malzemesindeki payı çoğu zaman büyüktür.
Araçta Bu yüzden CCBot eğitim altında yer alır ve tek tek eğitim crawler'ları engelli ama CCBot engelli değilse kontrol uyarır.
doi.org/10.1145/3630106.3659033 · Konferans bildirisi
Dodge, J.; Sap, M.; Marasović, A. vd. (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), s. 1286–1305
Bulgu Eğitim derlemi C4, tek bir Common Crawl kopyasından oluştu ve patent belgeleri ile askerî sayfalar gibi beklenmedik kaynaklardan metinler içeriyor.
Araçta Eğitim derlemlerinin sabit kopyalardan oluştuğunu metinde belgeler: Orada bir kez yer alana sonraki bir yasak ulaşmaz.
doi.org/10.18653/v1/2021.emnlp-main.98 · Konferans bildirisi
Aggarwal, P.; Murahari, V.; Rajpurohit, T. vd. (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), s. 5–16
Bulgu İçerikler, yapay zekâ arama motorlarının onları %40'a kadar daha görünür biçimde alıntılayacağı şekilde hazırlanabilir; neyin işe yaradığı konu alanına bağlıdır.
Araçta Sınırı çizer: Erişim ön koşuldur, alıntılanıp alıntılanmayacağına içerik karar verir. Bunun için sayfa AI-SEO'ya yönlendirir.
doi.org/10.1145/3637528.3671900 · Konferans bildirisi
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, s. 7001–7025
Bulgu Dört yapay zekâ arama motorunda cümlelerin ortalama ancak yarısından biraz fazlası kaynaklarla tamamen destekleniyordu ve kaynak gösterimlerinin yaklaşık dörtte biri cümleyi desteklemiyordu.
Araçta Serbest erişimin doğru bir alıntı vaat etmediği sınırını taşır: Kontrol okumayı denetler, cevabı değil.
doi.org/10.18653/v1/2023.findings-emnlp.467 · Konferans bildirisi
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026), s. 529–546
Bulgu 55.393 arama sorgusunda vakaların %13,7'sinde, soru biçimindeki sorgularda %64,7'sinde yapay zekâ özeti çıktı. Alıntılanan alan adlarının %30'a yakını ilk sayfanın sonuçları arasında değildi.
Araçta Googlebot'un neden kontrolde yer aldığını açıklar: Yapay zekâ özetleri kaynakları dizinden seçer, ama yalnızca ilk sonuçlardan değil.
doi.org/10.1145/3777912.3839818 · Konferans bildirisi
Grossman, R.; Liu, S.; Chen, M. K. vd. (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), s. 448–459
Bulgu 11.500 arama sorgusunda Google araması, yapay zekâ özeti ve Gemini'nin kaynakları büyük ölçüde farklıydı. Google'ın yapay zekâ crawler'ını engelleyen web siteleri yapay zekâ özetlerinde daha seyrek kaynak olarak kullanıldı.
Araçta Google-Extended engelliyken çıkan not, bu bulguyu Google'ın anahtarın aramayı etkilemediği yönündeki açıklamasının yanına koyar.
doi.org/10.1145/3805712.3809667 · Konferans bildirisi
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, s. 29–41
Bulgu Yaklaşık 4 milyon alan adı üzerinde yapılan bir ölçüm şunu gösteriyor: robots.txt en önemli araç olmaya devam ediyor; ai.txt ve llms.txt gibi yapay zekâya özgü dosyalar en çok teknoloji firmalarında yaygınlaşıyor. llms.txt dosyalarındaki bazı bağlantılar robots.txt'nin engellediği sayfalara gidiyor.
Araçta llms.txt bağlantılarının engellenmiş sayfalara gidip gitmediği kontrolü buradan gelir.
doi.org/10.1145/3831956.3831960 · Bilimsel dergi
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, makale 106176
Bulgu Üretken yapay zekâ bağlamında robots.txt'nin göz ardı edilmesi daha ciddi sonuçlar doğurur. Çalışma, common law ülkeleri için dosyanın belirli koşullarda tek taraflı bir sözleşme ya da sorumluluk sonuçları doğuran bir uyarı olarak işleyebileceğini savunuyor.
Araçta robots.txt'nin teknikten fazlası olduğu notunu destekler; Almanya'daki hukuki durumun ayrıca incelenmesi gerektiği kaydıyla.
doi.org/10.1016/j.clsr.2025.106176 · Bilimsel dergi
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, s. 197–214
Bulgu Bir Common Crawl kopyasındaki web sitelerinin yaklaşık %1,68'i crawler'ı açıkça reddetti; bu çoğu zaman büyük hosting firmaları ve site kurucu sağlayıcıları üzerinden oldu, engellemeden doğrulama sayfasına kadar.
Araçta Ana sayfa bir doğrulama sayfasıyla cevap verdiğinde çıkan not buradan gelir: Bir bot koruması robots.txt'den bağımsız olarak engeller.
doi.org/10.1007/978-3-031-85960-1_9 · Konferans bildirisi
Standartlar, resmî kurumlar ve üretici bilgileri
- RFC 9309: Robots Exclusion Protocol · IETF, Eylül 2022
- How Google interprets the robots.txt specification (durum kodları, 500 KiB, önbellek) · Google Search Central
- Overview of OpenAI Crawlers · OpenAI
- Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
- Google common crawlers (Google-Extended) · Google Search Central
- Google user-triggered fetchers (Google-Agent) · Google Search Central
- AI features and your website · Google Search Central
- Perplexity Crawlers · Perplexity
- About Applebot · Apple, güncelleme: 4 Eylül 2026
- Meta Web Crawlers · Meta
- Amazonbot, Amzn-SearchBot, Amzn-User · Amazon, güncelleme: 26 Ekim 2026
- Your content, your choice: clearer preferences for training and grounding · Microsoft Bing, 30 Ekim 2026
- Mistral AI crawlers · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- Cohere web crawlers (şu anda crawler yok) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · IETF taslağı, 30 Ekim 2026
- A new way to control AI training (eğitim sinyali) · Google Search Central Blog, 30 Ekim 2026
- Making it easier for websites to express AI training preferences · OpenAI, 30 Ekim 2026
- The /llms.txt file · llmstxt.org, 3 Eylül 2024 tarihli öneri
- § 44b UrhG Text und Data Mining · gesetze-im-internet.de
12 / DİĞER ARAÇLAR
Aklınıza takılan bir soru mu kaldı?
- AT-W2 · Bireysel ve işletme
Windows 10 kontrolü
Bu bilgisayar hâlâ güvenlik güncellemesi alıyor mu, Ekim 2027'ye kadar ne yapmak gerekiyor? - AT-W3 · Bireysel ve işletme
Wi-Fi planlayıcı
Eviniz, ofisiniz ya da deponuz için kaç access point ya da mesh noktası gerekir? - AT-W4 · İşletme
IT acil durum kontrolü
Bir arızadan sonra işletmeniz ne kadar çabuk yeniden çalışır hâle gelir? - AT-W5 · İşletme
E-posta kontrolü
E-postalarınız spam klasörüne mi düşüyor? Alan adınızın SPF, DKIM ve DMARC kayıtları, anlaşılır bir dille. - AT-W6 · İşletme
UPS (USV) hesaplayıcı
Elektrik kesildiğinde hangi UPS (USV) sunucuyu, modemi (router) ve kasayı yeterince uzun süre çalışır tutar? - AT-W8 · İşletme
XRechnung görüntüleyici
XML dosyası olarak bir XRechnung mı aldınız? Burada okunur hâle gelir, dosya bilgisayarınızdan çıkmaz.
Kopyaladığınız sonucu bize gönderin. robots.txt, llms.txt ve yapılandırılmış verileri, yapay zekâ aramaları sayfalarınızı okuyabilecek ve eğitim yalnızca sizin istediğiniz yerde yapılacak şekilde kuruyoruz; Rodewisch'te ve tüm Vogtland'da.
+49 3744 4399760[email protected]Pzt–Cum 8–17 · Straße der Jugend 5, 08228 Rodewisch