Araç AT-W48REV. 2026-A
robots.txt testi: Googlebot bu sayfayı okuyabilir mi?
Googlebot'un bir sayfayı çekip çekemeyeceğine robots.txt içindeki tek bir satır karar verir: bu crawler için geçerli gruptaki en uzun eşleşen kural. Dosyanızı yapıştırın ve yolları ya da tam adresleri girin. Test aracı Googlebot, Bingbot, GPTBot ve diğer crawler'lar için bir yolun izinli mi engelli mi olduğunu ve buna hangi satırın karar verdiğini gösterir. Google'ın standarttan farklı okuduğu yerleri de ayrıca bildirir.
- ücretsiz
- kayıt olmadan
- Metin tarayıcıda kalır
01 / TEST ARACI
robots.txt'yi yapıştırın, yolları tek tek kontrol edin
Test aracı · RFC 9309'a göre robots.txt
Değerlendirme RFC 9309'a göre, tek tek crawler'ların belgelenmiş özellikleriyle yapılır. Bir crawler'ın buna uyup uymayacağına işletmecisi karar verir.
02 / KURALLAR
Bir crawler bir sayfayı çekip çekmeyeceğine böyle karar verir
Bu yöntem Eylül 2022'den beri RFC 9309 olarak standartlaştı; öncesinde 1994'ten kalma bir uzlaşmaydı ve büyük crawler'lar ona kimi zaman daha sıkı, kimi zaman daha gevşek uyuyordu Sun vd. 2010. Test aracı RFC'ye göre şu sırayla hesaplar:
- Dosya. Ana dizinde /robots.txt altında durur ve yalnızca protokol ve port dahil tam olarak bu host için geçerlidir. ihre-firma.de üzerindeki dosya www.ihre-firma.de ve shop.ihre-firma.de için geçerli değildir.
- Grup. Crawler kendi adını taşıyan grubu arar, büyük-küçük harf fark etmez. Aynı adı taşıyan birden fazla grup birleştirilir. Hiç yoksa “User-agent: *” geçerlidir; o da yoksa her şeye izin verilir.
- Kural. Grupta, yolun başına uyan en uzun Allow veya Disallow satırı kazanır. Uzunluk eşitse Allow kazanır. Satırların sırasının önemi yoktur.
- Karakterler. Yıldız herhangi sayıda karakter, sondaki dolar işareti adresin sonu anlamına gelir. Yolda büyük-küçük harf fark eder. Crawler ü, ö gibi harfleri yüzde kodlamasıyla karşılaştırır; yani “/über” ile “/%C3%BCber” aynıdır.
- İstisna. robots.txt dosyasının kendisini herkes çekebilir ve Sitemap satırları gruplardan bağımsız olarak geçerlidir.
Bir desen neye uyar
| Desen | uyar | uymaz |
|---|---|---|
| /fisch | /fisch, /fisch.html, /fischkopf/rezept | /Fisch, /katalog/fisch |
| /fisch/ | /fisch/, /fisch/?sorte=lachs | /fisch, /fisch.html |
| /*.php | /index.php, /ordner/seite.php?id=1 | /, /seite.PHP |
| /*.php$ | /seite.php | /seite.php?id=1, /seite.php5 |
| /*?s= | /?s=preise, /blog/?s=test | /blog/?seite=2 |
Karşılaştırma her zaman yolun başından başlar, bu yüzden /fisch kuralı /katalog/fisch yoluna uymaz. “Her yerde” demek isteyen, başına bir yıldız koyar.
En uzun kural kazanır
Örnekte grup mağazayı engelliyor, ama tekliflere izin veriyor. /shop/angebote/herbst için test aracı şunu hesaplar: “User-agent: *” grubundaki 3. satır “Allow: /shop/angebote/” ile izinli. Bu satır 15 karakterle eşleşen 2 kuralın en uzunudur. /shop/kasse için ise sonuç engelli, çünkü yalnızca daha kısa kural eşleşiyor.
Ticari crawler'lar uzun süre belirli kuralları tekrar tekrar ihlal etti ya da yanlış anladı Giles vd. 2010. RFC'den beri hesap net, ama her crawler buna uymuyor. Bu yüzden test aracı, crawler'ların farklı okuduğu satırları bildirir.
User-agent: * Disallow: /shop/ Allow: /shop/angebote/
En sık tuzak: Gruplar hiçbir şey devralmaz
Bir crawler kendi grubunu alınca genel grup onun için artık geçerli olmaz, kısmen bile. Örnekte /intern/ herkes için engelli olmalı, ama Googlebot taslaklar için kendi grubunu alıyor. /intern/preise için sonuç: Bingbot engelli, Googlebot ise izinli. Herkes için geçerli olması gerekenler bu yüzden adı belirtilmiş her gruba yazılmalıdır.
Adı belirtilmiş gruplar yaygındır. 2.925 robots.txt dosyası üzerinde yapılan erken bir incelemede büyük arama motorları kendi grupları sayesinde çoğunlukla diğerlerinden daha fazla erişim aldı Sun vd. 2007b; yaklaşık 6 milyon web sitesi üzerinde yapılan daha sonraki bir inceleme kayda değer bir kayırma bulmadı Kolay vd. 2008. İster bilerek ister bilmeden olsun, test aracı seçilen her crawler için geçerli grubu, genel bakışta da her grubun kimin için geçerli olduğunu gösterir.
User-agent: * Disallow: /intern/ User-agent: Googlebot Disallow: /entwurf/
03 / GOOGLE
Google'ın robots.txt'yi standarttan farklı okuduğu yerler
Google RFC'nin yazımına katıldı ve özünde ona uyar. Bazı noktalarda Google'ın ayrıştırıcısı (parser) daha hoşgörülü ya da daha katıdır ve belgeleri RFC'nin açık bıraktığı konuları düzenler. Test aracı RFC'ye göre hesaplar ve bu noktaların her birini not olarak bildirir; böylece tüm crawler'larda aynı etkiyi gösteren bir dosya elde edersiniz.
| Konu | RFC 9309 | |
|---|---|---|
| Dosya boyutu | en az 500 KiB okunmalı | en fazla 500 KiB, gerisi yok sayılır |
| Önbellek | en fazla 24 saat, dosyaya ulaşılamıyorsa hariç | genellikle 24 saate kadar, yenileme başarısız olursa daha uzun |
| Yönlendirme | en az beşini izle | en az beş, sonra 404 gibi |
| 404 ve diğer 4xx | robots.txt yok, her şeye izin var | aynı şekilde, 429 hariç |
| 5xx ya da erişilemiyor | her şey engelli; uzun bir süre sonra (örnek: 30 gün) dosya yokmuş gibi ya da kayıtlı sürüm geçerli | 12 saat boyunca tarama yok, sonra 30 güne kadar son sağlam sürüm (o da yoksa kısıtlama yok), ardından site başka türlü erişilebilirse dosya yokmuş gibi |
| Yönergeler | user-agent, allow, disallow; diğer satırları, örneğin sitemap'i, crawler yorumlayabilir | yalnızca user-agent, allow, disallow ve sitemap; noindex, nofollow ve crawl-delay 1 Eylül 2019'dan beri etkisiz |
| Yazım hatası, eksik iki nokta | satır sayılmaz | “Disalow” gibi bazı yazım hatalarını ve iki noktası olmayan satırları Google'ın ayrıştırıcısı yine de okur |
| Ek içeren ad | adlar yalnızca harf, - ve _ içerir | “googlebot/1.2” ve “googlebot*” “googlebot” sayılır |
| Ü, ö gibi harfler, özel karakterler | karşılaştırmadan önce yüzde kodlamasına çevrilmeli | yüzde kodlamasıyla karşılaştırır |
| Sitemap | crawler yorumlayabilir | protokol ve host içeren tam adres, başka bir host üzerinde olabilir |
Kaynaklar: RFC 9309, Google'ın robots.txt açıklaması (23 Ekim 2026 itibarıyla), 2 Temmuz 2019 tarihli Google blog yazısı, Google'ın ayrıştırıcısı. 14 Kasım 2026'da kontrol edildi.
Diğer arama motorlarının kendi özellikleri var. Bing Crawl-delay'e uyar ve kendi bingbot grubu yoksa msnbot grubunu okur; Yandex Crawl-delay'i 22 Şubat 2018'den beri değerlendirmez ve “User-agent: Yandex” ile tüm robotları için tek bir grubu vardır. Apple'ın crawler'ı kendi grubu yoksa Googlebot grubuna uyar, Google'ın reklam crawler'ları genel grubu tamamen atlar. Aşağıdaki tablo, test aracının bunlardan hangilerini hesaba kattığını gösterir.
04 / CRAWLER'LAR
robots.txt'ye hangi adlar yazılır
User-agent satırına product token, yani işletmecinin robots.txt için belirttiği kısa ad yazılır: “Googlebot”, sunucu günlüğünde görünen kimliğin tamamı değil. Test aracındaki liste yalnızca işletmecisinin belgelediği adları içerir ve özel yolları yalnızca işletmecinin tarif ettiği yerde hesaba katar.
| robots.txt'deki adı | Sahibi | Ne için | Özellik |
|---|---|---|---|
| Googlebot | Google araması, yapay zekâ özetleri dahil | Kendi grubu yoksa “*” geçerlidir. | |
| Googlebot-Image | Google Görseller | Kendi grubu yoksa Googlebot grubuna uyar. | |
| bingbot | Microsoft | Bing ve Copilot | Kendi grubu yoksa önce msnbot grubuna, ancak sonra “*” grubuna uyar. Crawl-delay'e uyar. |
| Applebot | Apple | Siri, Spotlight, Safari | Kendi grubu yoksa Googlebot grubuna uyar. |
| DuckDuckBot | DuckDuckGo | DuckDuckGo'nun kendi dizini | Kendi grubu yoksa “*” geçerlidir. |
| YandexBot | Yandex | Yandex araması | Kendi grubu yoksa Yandex grubuna uyar. Crawl-delay Şubat 2018'den beri etkisiz. |
| Storebot-Google | Google Shopping | Google yedek grup belgelemiyor; test aracı RFC 9309'a göre “*” ile hesaplar. | |
| AdsBot-Google | Google Ads hedef sayfalarını kontrol eder | “*” grubunu atlar. Yalnızca kendi grubuyla engellenebilir. | |
| Mediapartners-Google | AdSense ve Ad Manager | “*” grubunu atlar. Yalnızca kendi grubuyla engellenebilir. |
Bunlara yapay zekâ sağlayıcılarının 24 kimliği eklenir; aralarında GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User var. 2023'ten beri web siteleri yapay zekâ sağlayıcılarını giderek daha fazla ve çok farklı biçimlerde engelliyor; kullanım koşulları ile robots.txt bu konuda sık sık çelişiyor Longpre vd. 2024. Yaklaşık 4 milyon alan adı üzerinde yapılan bir ölçüm, robots.txt'nin bunun için en önemli araç olmaya devam ettiğini ve yapay zekâ ajanlarının orada çoğunlukla Disallow ile kısıtlandığını gösteriyor Hoffmann vd. 2026. Hangi yapay zekâ crawler'ının ne için okuduğu yapay zekâ crawler kontrolünde yazıyor; o araç gerçek robots.txt dosyanızı da hemen çeker.
05 / OLUŞTURUCU
Yaygın durumlar için robots.txt yazın
robots.txt'ye ihtiyaç duyan kişi nadiren teknik terim öğrenmek ister. 203 sanatçıyla yapılan bir ankette dosyaya istek büyüktü, ama bunun için gereken bilgi ve kendi web sitesine erişim çoğu zaman yoktu Liu vd. 2025. Bu yüzden oluşturucu yalnızca crawler'ların neyi okuması gerektiğini sorar ve hilesiz, basit Allow ve Disallow satırları yazar. “Test aracında kontrol et” ile metin yukarıdaki test aracına aktarılır.
Oluşturucu · yaygın durumlar için robots.txt
robots.txt yalnızca taramayı düzenler. Veri korumaz, çünkü herkes onu okuyabilir; hiçbir sayfayı Google dizininden de çıkarmaz: Engellenen bir adres, başka sayfalar ona bağlantı verirse sonuçlarda açıklamasız görünebilir.
Oluşturucu tarayıcıda çalışır ve hiçbir şey göndermez. Dosya robots.txt adıyla ana dizine konur; her alt alan adı için ayrı bir dosya gerekir.
Sitemap satırı neredeyse her zaman işe yarar. Bağlantı takibi ve site haritası birbirini tamamlar: Google'daki milyarlarca adres üzerinde, gelen bağlantısı olmayan sayfalar ve yeni içerikler site haritası sayesinde daha hızlı fark edildi Schonfeld ve Shivakumar 2009. Satır tam adresi gerektirir ve tüm gruplar için geçerlidir.
06 / SINIRLAR
robots.txt'nin yapamadıkları
- Dizinden hiçbir şey çıkarmaz. Google'a göre robots.txt, bir sayfayı Google'ın dışında tutmanın aracı değildir. Başka sayfaların bağlantı verdiği engelli bir adres, sonuçlarda açıklamasız görünebilir. Dizinden noindex ile çıkar ve Google bunu ancak sayfayı okuyabiliyorsa görür.
- Hiçbir şeyi korumaz. Dosya herkese açıktır ve engellenen yolları listeler; RFC de açıkça erişim korumasının yerini tutmadığını söyler. Bir crawler'ın buna uyup uymaması, işletmecisinin tartıp vereceği bir karardır Thelwall ve Stuart 2006. Gizli içerik bir şifrenin arkasında olmalıdır.
- Bir ricadır. İlk büyük incelemeler bile dosyayı bir zorlama aracı olarak değil, düzgün crawler'ların uyduğu bir kural olarak tanımladı Sun vd. 2007a. 130 adlandırılmış bot ile 40 gün süren denemelerde botlar daha katı kurallara daha seyrek uydu ve yapay zekâ arama crawler'ları dosyayı çoğu zaman hiç sorgulamadı Kim vd. 2025.
- Yalnızca adlar üzerinden işler. Botlar güvenilir biçimde tanınamaz; yaygın yöntemlerin hiçbiri genel olarak güvenilir çalışmaz Doran ve Gokhale 2011. Başka bir adla gelen bota hiçbir kural uymaz.
- Sıkı engeller sunucuda kurulur. Yapay zekâ crawler'larına karşı reverse proxy'deki engeller robots.txt'den daha etkili koruma sağladı Liu vd. 2025. Tersine, bazı hosting firmaları ve site oluşturucular crawler'ları robots.txt devreye girmeden reddeder: Bir Common Crawl kesitinde bu, web sitelerinin yaklaşık yüzde 1,68'iydi Ansar vd. 2025. O zaman en güzel Allow satırı bile işe yaramaz.
- Test aracı sizin metninizle hesaplar. Sunucunuzun tam olarak bu dosyayı, 200 durum koduyla ve metin olarak sunup sunmadığını yapay zekâ crawler kontrolü gerçek bir çekme işlemiyle kontrol eder.
Test aracı bir ön soruyu yanıtlar. Sayfalarınızın gerçekten Google'da olup olmadığını ve değilse sebebini SpotLens Quick-Check gösterir. Kendiniz kontrol etmek için ilk adımlar Web sitesi Google'da bulunamıyor rehberinde; Rodewisch'te ve Vogtland'da web sitelerini nasıl bulunur hale getirdiğimiz SEO sayfasında. Bulunabilirlik için diğer araçlar SEO ve görünürlük altında.
07 / YAPAY ZEKÂ ASİSTANLARI İÇİN
Bu aracı bir yapay zekâ asistanı üzerinden kullanın
Claude ya da ChatGPT gibi Model Context Protocol (MCP) destekleyen asistanlar, bu sayfadaki hesabı baştan kurmak yerine doğrudan çağırabilir. Sunucu herkese açıktır, kayıt gerektirmez ve hiçbir şey kaydetmez. Cevapta her zaman bu sayfanın bağlantısı, verilerin tarihi ve sonucun sınırları yer alır.
- Uç nokta
https://aureum-tech.com/mcp- Araç
werkzeug_robots_txt_tester- Aktarım
- Streamable HTTP, salt okunur
| Ad | Zorunlu | Anlamı |
|---|---|---|
robots_txt | evet | /robots.txt altında durduğu haliyle robots.txt dosyasının tam metni. |
pfade | hayır | En fazla 50 yol veya tam URL, örn. “/kontakt” ya da “https://www.firma.de/blog?seite=2”. URL'lerde yol ve query sayılır. Belirtilmezse “/”. |
crawler | hayır | Crawler'ların product token'ları, örn. Googlebot, bingbot, GPTBot; kendi grubu olmayan her crawler için “*”. Bilinenler: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. Diğer adlar RFC 9309'a göre kontrol edilir. Belirtilmezse: Googlebot, bingbot, GPTBot, ClaudeBot, *. |
Bir asistanın bu aracı çağırması gereken sorular
- “Bu robots.txt ile Googlebot /wp-admin/admin-ajax.php adresini çekebilir mi?”
- “‘User-agent: *’ altındaki engellemem neden GPTBot için geçerli değil?”
- “robots.txt dosyamın hangi satırı https://www.firma.de/shop?sort=preis adresini Bingbot için engelliyor?”
- “robots.txt dosyamdaki ‘Disalow: /intern/’ bir hata mı, Google bu satırı yine de okur mu?”
Bağlantının nasıl çalıştığını ve MCP'nin kendi işletmenizde neler yapabileceğini MCP entegrasyonları sayfasında okuyabilirsiniz.
08 / SIK SORULAN SORULAR
robots.txt hakkında sık sorulan sorular
“Disallow” bir sayfayı Google dizininden çıkarır mı?
Hayır. Disallow yalnızca sayfanın çekilmesini yasaklar. Başka sayfalar bu adrese bağlantı verirse Google onu yine de arama sonuçlarına alabilir, o zaman açıklamasız gösterir. Bir sayfanın kaybolmasını istiyorsanız Google'ın onu okuyabilmesi ve orada meta etiketinde ya da X-Robots-Tag'de bir noindex bulması gerekir; aksi halde sayfa 404 veya 410 ile yanıt vermeli ya da bir şifrenin arkasında durmalıdır. Engelleme ile noindex birlikte tam tersini yapar: Google noindex'i hiç görmez.
“User-agent: *” altındaki engellemem neden Googlebot için geçerli değil?
Çünkü Googlebot için ayrı bir grup var. Bir crawler kendi adını taşıyan gruba uyar; ancak böyle bir grup yoksa genel grup “*” geçerli olur. Bu yüzden orada engellenen her şey, adı belirtilmiş her grupta da yer almalıdır. Test aracı her sonuçta hangi grubun geçerli olduğunu gösterir.
Allow ve Disallow aynı yola uyuyorsa hangisi kazanır?
Karakter sayısı olarak daha uzun olan kural. Uzunluk eşitse Allow kazanır; dosyadaki sıranın önemi yoktur. “Disallow: /shop/” ve “Allow: /shop/angebote/” ile /shop/angebote/ açık kalır, mağazanın geri kalanı kapanır.
Değiştirilen bir robots.txt Google'da ne kadar sürede etkili olur?
Google dosyayı genellikle 24 saate kadar önbellekte tutar, yenileme başarısız olursa daha uzun da tutar. O zamana kadar eski kurallar geçerlidir. Bu yüzden bir değişikliği önce burada kontrol edin, ancak ondan sonra sunucuya yükleyin.
Gizli bölümleri robots.txt ile koruyabilir miyim?
Hayır. Dosya herkese açıktır, herkes onu açabilir ve engellenen yolları üstelik ele verir. Standardın kendisi de bunu yazar: Erişim korumasının yerini tutmaz. Gizli içerik bir oturum açma ekranının ya da sunucuda şifre korumasının arkasında olmalıdır.
Google robots.txt içindeki Crawl-delay veya Noindex'e uyar mı?
Hayır. Google yalnızca user-agent, allow, disallow ve sitemap satırlarını okur. robots.txt içindeki noindex, nofollow ve crawl-delay 1 Eylül 2019'dan beri Google'da etkisizdir. Bing Crawl-delay'e uyar, Yandex Şubat 2018'den beri uymaz, Applebot uymaz. Test aracı bu tür satırları işaretler.
robots.txt test aracının sınırı nerede?
Yapıştırdığınız metinle RFC 9309'a ve crawler'ların belgelenmiş özelliklerine göre hesaplar. Sunucunuzun tam olarak bu dosyayı sunup sunmadığını yapay zekâ crawler kontrolü gerçek bir çekme işlemiyle kontrol eder. Sayfalarınızın dizinde olup olmadığını ve değilse sebebini SpotLens Quick-Check gösterir. Sayfaları Google'dan uzak tutan sorunları isterseniz biz gideririz.
09 / ÇALIŞMALAR VE KAYNAKLAR
Bu araç neye dayanıyor
Yukarıdaki ölçütler ve notlar bu 13 bilimsel çalışmaya dayanır. Her biri DOI'si veya yayınevinin sayfası üzerinden kontrol edildi (en son 14 Kasım 2026'da): Çalışma mevcut, geri çekilmemiş ve bulgusu bu soru için bugün de geçerli.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), s. 1123–1124
Bulgu 7.593 web sitesi üzerinde art arda yapılan beş inceleme, robots.txt'nin giderek daha sık kullanıldığını gösteriyor. Dosya hiçbir şeyi zorla uygulamaz; ona uyanlar düzgün crawler'lardır.
Araçta Her sonucun üstündeki uyarıya dayanak: robots.txt bir ricadır, kilit değil.
doi.org/10.1145/1242572.1242726 · Konferans bildirisi
Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), s. 149–155
Bulgu 2.925 robots.txt dosyasında büyük arama motorlarının crawler'ları kendi grupları üzerinden çoğunlukla kayırılıyordu ve bu kayırma pazar payıyla güçlü biçimde bağlantılıydı.
Araçta Bu yüzden test aracı birden fazla crawler'ı yan yana karşılaştırır ve hangi grubun kimin için geçerli olduğunu gösterir: Farklar adı belirtilmiş gruplar üzerinden oluşur.
doi.org/10.1109/WI.2007.98 · Konferans bildirisi
Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), s. 1171–1172
Bulgu Yaklaşık 6 milyon web sitesi üzerinde yapılan bir inceleme, 2007'deki daha küçük çalışmanın aksine belirli bir arama motorunun kayda değer biçimde kayırıldığını bulmadı.
Araçta Metinde, kayırmaya ilişkin bulguların örnekleme göre farklılaştığı belirtilir. Bu yüzden test aracı değerlendirme yapmaz, her crawler için geçerli grubu gösterir.
doi.org/10.1145/1367497.1367711 · Konferans bildirisi
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), s. 1101–1102
Bulgu Ticari crawler'ların çoğu kurallara uygun davrandı, ama birçoğu belirli robots.txt kurallarını tekrar tekrar ihlal etti ya da yanlış anladı.
Araçta Bu yüzden test aracı crawler'ların farklı okuduğu satırları bildirir ve oluşturucu yalnızca basit Allow ve Disallow satırları yazar.
doi.org/10.1145/1772690.1772824 · Konferans bildirisi
Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), s. 668–675
Bulgu Her biri farklı bir robots.txt kuralı taşıyan tuzak sayfalarla birçok crawler'ın davranışı ölçüldü. Kurallara ne kadar uydukları büyük farklılık gösterdi; birçok ticari crawler belirli kuralları düzenli olarak ihlal etti.
Araçta “Kural davranış değildir” sınırını destekler: Bir crawler'ın gerçekten uyup uymadığını test aracı değil, yalnızca sunucu günlüğü gösterir.
doi.org/10.1109/WI-IAT.2010.316 · Konferans bildirisi
Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), s. 1771–1779
Bulgu Çalışma, taramanın site sahipleri için sonuçlarını maliyet, gizlilik ve aşırı yük başlıklarında sınıflandırır. Bir taramanın kabul edilebilir olup olmadığı, crawler işletmecisinden her durumda ayrı bir değerlendirme gerektirir.
Araçta Test aracının gizli bölümler için neden Disallow satırı yerine şifre korumasını önerdiğini açıklar.
doi.org/10.1002/asi.20388 · Bilimsel dergi
Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), s. 991–1000
Bulgu Google'da milyarlarca adres üzerinde bağlantı takibi ile site haritalarının karşılaştırılması, ikisinin birbirini iyi tamamladığını gösteriyor: Site haritaları gelen bağlantısı olmayan sayfaları ve yeni içerikleri daha hızlı görünür kılar.
Araçta Bu yüzden test aracı Sitemap satırlarını ayrıca listeler, tam adres olarak yazılıp yazılmadıklarını kontrol eder ve oluşturucu da bir tane ekler.
doi.org/10.1145/1526709.1526842 · Konferans bildirisi
Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), s. 183–210
Bulgu Botları tanımaya yönelik yaygın yöntemlerin karşılaştırması, hiçbirinin genel olarak güvenilir çalışmadığını gösteriyor. Bazı botlar kötü davranıyor ya da sunucuya ciddi yük bindiriyor.
Araçta Botların güvenilir biçimde tanınamayacağı sınırını destekler: Bir kural yalnızca adını bildiren ve kurala uyan crawler'larda işe yarar.
doi.org/10.1007/s10618-010-0180-z · Derleme makalesi
Kim, T.; Bock, K.; Luo, C. vd. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 541–557
Bulgu 130 adlandırılmış bot ile 40 gün süren kontrollü denemelerde botlar daha katı kurallara daha seyrek uydu ve yapay zekâ arama crawler'ları robots.txt'yi çoğu zaman hiç sorgulamadı.
Araçta Bu yüzden her “engelli” sonucunda engelin bir rica olduğu notu, oluşturucudaki “Her şeyi engelle” seçeneğinde de sunucuda gerçek koruma kurma tavsiyesi yer alır.
doi.org/10.1145/3730567.3764471 · Konferans bildirisi
Longpre, S.; Mahari, R.; Lee, A. vd. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), s. 108042–108087
Bulgu Yapay zekâ eğitim verilerinin arkasındaki 14.000 alan adının incelenmesi, bir yıl içinde engellemelerde güçlü bir artış, yapay zekâ sağlayıcıları arasında büyük farklar ve kullanım koşulları ile robots.txt arasında sık çelişkiler buldu.
Araçta Bu yüzden yapay zekâ crawler'ları tek tek seçilebilir ve test aracı “eğitime evet mi hayır mı” sorusu için yapay zekâ crawler kontrolüne yönlendirir.
doi.org/10.52202/079017-3431 · Konferans bildirisi
Liu, E.; Luo, E.; Shan, S. vd. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 78–99
Bulgu Ölçümler ve 203 sanatçıyla yapılan bir anket, robots.txt'ye büyük ihtiyaç olduğunu, ama teknik bilgi ve kendi web sitesine erişim konusunda engeller bulunduğunu gösteriyor. Reverse proxy'deki engeller daha etkili koruma sağladı.
Araçta Teknik terim gerektirmeyen, yaygın durumlar için oluşturucu ve sıkı bir engel için hosting firmasını işe dahil etme notu buradan gelir.
doi.org/10.1145/3730567.3732913 · Konferans bildirisi
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), s. 29–41
Bulgu Yaklaşık 4 milyon alan adı üzerinde yapılan bir ölçüm şunu gösteriyor: robots.txt, crawler'lara erişime izin vermenin veya erişimi yasaklamanın en önemli aracı olmaya devam ediyor. Yapay zekâ ajanları orada özellikle Disallow satırlarıyla kısıtlanıyor.
Araçta Test aracının neden robots.txt ile sınırlı kaldığını ve yapay zekâ kimliklerini arama motorlarıyla eşit düzeyde kontrol ettiğini açıklar.
doi.org/10.1145/3831956.3831960 · Bilimsel dergi
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, s. 197–214
Bulgu Bir Common Crawl kopyasındaki web sitelerinin yaklaşık %1,68'i crawler'ı açıkça reddetti; bu çoğu zaman büyük hosting firmaları ve site kurucu sağlayıcıları üzerinden oldu, engellemeden doğrulama sayfasına kadar.
Araçta Hosting firması ya da bot koruması crawler'ı önceden reddederse izin veren bir robots.txt'nin işe yaramayacağı sınırı buradan gelir.
doi.org/10.1007/978-3-031-85960-1_9 · Konferans bildirisi
Standartlar, resmî kurumlar ve üretici bilgileri
- RFC 9309: Robots Exclusion Protocol · IETF, Eylül 2022
- How Google interprets the robots.txt specification · Google Search Central, 23 Ekim 2026 itibarıyla
- Introduction to robots.txt · Google Search Central
- Block Search indexing with noindex · Google Search Central
- A note on unsupported rules in robots.txt · Google Search Central Blog, 2 Temmuz 2019
- Google common crawlers · Google Search Central
- Google special-case crawlers (AdsBot, Mediapartners) · Google Search Central
- google/robotstxt: Google'ın robots.txt ayrıştırıcısı (yazım hataları, Googlebot-Image) · Google, GitHub
- To crawl or not to crawl, that is BingBot’s question · Bing Webmaster Blog, 3 Mayıs 2012
- About Applebot · Apple, güncelleme: 4 Eylül 2026
- DuckDuckBot · DuckDuckGo
- The User-agent directive · Yandex Webmaster
- The Crawl-delay directive · Yandex Webmaster
- WordPress: do_robots() in wp-includes/functions.php · WordPress, GitHub
10 / DİĞER ARAÇLAR
Aklınıza takılan bir soru mu kaldı?
- AT-W42 · İşletme
Snippet önizlemesi
Sayfanız Google'da nasıl görünüyor? Başlık ve açıklama, piksel genişliğiyle; masaüstü ve cep telefonu için. - AT-W43 · İşletme
Schema oluşturucu
İşletmeniz için yapılandırılmış veri: LocalBusiness, açılış saatleri ve SSS; sitenize ekleyebileceğiniz JSON-LD olarak. - AT-W44 · İşletme
İşletme profili kontrolü
Google İşletme Profiliniz eksiksiz mi? Eksikler, etkisine göre sıralı. - AT-W45 · İşletme
NAP kontrolü
Adınız, adresiniz ve telefon numaranız her yerde aynı mı yazıyor? Rehber sitelerindeki kayıtları karşılaştırın. - AT-W46 · İşletme
Anahtar kelime sıralayıcı
Hangi arama kelimeleri birbirine ait, arayan kişi ne istiyor? Listeler konuya ve arama amacına göre sıralanır. - AT-W47 · Bireysel ve işletme
Okunabilirlik kontrolü
Metniniz ne kadar anlaşılır? Almanca için okunabilirlik endeksi; uzun cümleler ve zor kelimeler işaretlenir.
Kopyaladığınız sonucu bize gönderin. Web sitenizin robots.txt ve site haritasını kontrol ederiz, sayfaları Google'dan uzak tutan sorunları gideririz; Rodewisch'te ve tüm Vogtland'da.
+49 3744 4399760[email protected]Pzt–Cum 8–17 · Straße der Jugend 5, 08228 Rodewisch