Araç AT-W48REV. 2026-A

robots.txt testi: Googlebot bu sayfayı okuyabilir mi?

Googlebot'un bir sayfayı çekip çekemeyeceğine robots.txt içindeki tek bir satır karar verir: bu crawler için geçerli gruptaki en uzun eşleşen kural. Dosyanızı yapıştırın ve yolları ya da tam adresleri girin. Test aracı Googlebot, Bingbot, GPTBot ve diğer crawler'lar için bir yolun izinli mi engelli mi olduğunu ve buna hangi satırın karar verdiğini gösterir. Google'ın standarttan farklı okuduğu yerleri de ayrıca bildirir.

  • ücretsiz
  • kayıt olmadan
  • Metin tarayıcıda kalır

robots.txt'yi yapıştırın, yolları tek tek kontrol edin

Test aracı · RFC 9309'a göre robots.txt

Değerlendirme RFC 9309'a göre, tek tek crawler'ların belgelenmiş özellikleriyle yapılır. Bir crawler'ın buna uyup uymayacağına işletmecisi karar verir.

ihre-firma.de/robots.txt adresini tarayıcıda açın ve metnin tamamını kopyalayın. Dosyayı yapay zekâ crawler kontrolü ile de çekebilirsiniz.

En fazla 50. Tam adreslerde yol ve parametreler sayılır, örneğin /shop?sort=preis.

Hangi crawler'lar için?
Arama motorları · 6
Diğer Google crawler'ları · 3
Yapay zekâ crawler'ları · 24

İşletmecinin robots.txt için belirttiği ad (product token), user-agent dizesinin tamamı değil.

Test aracı tarayıcıda hesaplar. Metin ve adresler cihazınızdan çıkmaz.

Sonuç

robots.txt dosyanızı yapıştırın ve yolları girin. Denemek için bir örnek var.

Bir crawler bir sayfayı çekip çekmeyeceğine böyle karar verir

Bu yöntem Eylül 2022'den beri RFC 9309 olarak standartlaştı; öncesinde 1994'ten kalma bir uzlaşmaydı ve büyük crawler'lar ona kimi zaman daha sıkı, kimi zaman daha gevşek uyuyordu Sun vd. 2010. Test aracı RFC'ye göre şu sırayla hesaplar:

  1. Dosya. Ana dizinde /robots.txt altında durur ve yalnızca protokol ve port dahil tam olarak bu host için geçerlidir. ihre-firma.de üzerindeki dosya www.ihre-firma.de ve shop.ihre-firma.de için geçerli değildir.
  2. Grup. Crawler kendi adını taşıyan grubu arar, büyük-küçük harf fark etmez. Aynı adı taşıyan birden fazla grup birleştirilir. Hiç yoksa “User-agent: *” geçerlidir; o da yoksa her şeye izin verilir.
  3. Kural. Grupta, yolun başına uyan en uzun Allow veya Disallow satırı kazanır. Uzunluk eşitse Allow kazanır. Satırların sırasının önemi yoktur.
  4. Karakterler. Yıldız herhangi sayıda karakter, sondaki dolar işareti adresin sonu anlamına gelir. Yolda büyük-küçük harf fark eder. Crawler ü, ö gibi harfleri yüzde kodlamasıyla karşılaştırır; yani “/über” ile “/%C3%BCber” aynıdır.
  5. İstisna. robots.txt dosyasının kendisini herkes çekebilir ve Sitemap satırları gruplardan bağımsız olarak geçerlidir.
HANGİ GRUP GEÇERLİ?CRAWLER/robots.txtKENDİGRUPYOKSA GRUP*YOKSA HER ŞEYİZİNLİHANGİ KURAL GEÇERLİ?YOLEŞLEŞEN KURALLAREN UZUNKAZANIR, EŞİTUZUNLUKTA: ALLOWİZİNLİ YA DAKİLİTLİHANGİ GRUP GEÇERLİ?CRAWLER/robots.txtKENDİ GRUBUYOKSA GRUP *YOKSA HER ŞEY İZİNLİHANGİ KURAL GEÇERLİ?YOLEŞLEŞEN KURALLAREN UZUN KAZANIR, EŞİTUZUNLUKTA: ALLOWİZİNLİ YA DA ENGELLİ
ŞEKİL 1 · BİR CRAWLER ROBOTS.TXT DOSYASINI NASIL OKURALTIN RENGİ = SİZİN DOSYANIZ · ART ARDA VERİLEN İKİ KARAR

Bir desen neye uyar

Örnekler, test aracıyla aynı fonksiyonla hesaplandı
Desenuyaruymaz
/fisch/fisch, /fisch.html, /fischkopf/rezept/Fisch, /katalog/fisch
/fisch//fisch/, /fisch/?sorte=lachs/fisch, /fisch.html
/*.php/index.php, /ordner/seite.php?id=1/, /seite.PHP
/*.php$/seite.php/seite.php?id=1, /seite.php5
/*?s=/?s=preise, /blog/?s=test/blog/?seite=2

Karşılaştırma her zaman yolun başından başlar, bu yüzden /fisch kuralı /katalog/fisch yoluna uymaz. “Her yerde” demek isteyen, başına bir yıldız koyar.

En uzun kural kazanır

Örnekte grup mağazayı engelliyor, ama tekliflere izin veriyor. /shop/angebote/herbst için test aracı şunu hesaplar: “User-agent: *” grubundaki 3. satır “Allow: /shop/angebote/” ile izinli. Bu satır 15 karakterle eşleşen 2 kuralın en uzunudur. /shop/kasse için ise sonuç engelli, çünkü yalnızca daha kısa kural eşleşiyor.

Ticari crawler'lar uzun süre belirli kuralları tekrar tekrar ihlal etti ya da yanlış anladı Giles vd. 2010. RFC'den beri hesap net, ama her crawler buna uymuyor. Bu yüzden test aracı, crawler'ların farklı okuduğu satırları bildirir.

User-agent: *
Disallow: /shop/
Allow: /shop/angebote/

En sık tuzak: Gruplar hiçbir şey devralmaz

Bir crawler kendi grubunu alınca genel grup onun için artık geçerli olmaz, kısmen bile. Örnekte /intern/ herkes için engelli olmalı, ama Googlebot taslaklar için kendi grubunu alıyor. /intern/preise için sonuç: Bingbot engelli, Googlebot ise izinli. Herkes için geçerli olması gerekenler bu yüzden adı belirtilmiş her gruba yazılmalıdır.

Adı belirtilmiş gruplar yaygındır. 2.925 robots.txt dosyası üzerinde yapılan erken bir incelemede büyük arama motorları kendi grupları sayesinde çoğunlukla diğerlerinden daha fazla erişim aldı Sun vd. 2007b; yaklaşık 6 milyon web sitesi üzerinde yapılan daha sonraki bir inceleme kayda değer bir kayırma bulmadı Kolay vd. 2008. İster bilerek ister bilmeden olsun, test aracı seçilen her crawler için geçerli grubu, genel bakışta da her grubun kimin için geçerli olduğunu gösterir.

User-agent: *
Disallow: /intern/

User-agent: Googlebot
Disallow: /entwurf/

Google'ın robots.txt'yi standarttan farklı okuduğu yerler

Google RFC'nin yazımına katıldı ve özünde ona uyar. Bazı noktalarda Google'ın ayrıştırıcısı (parser) daha hoşgörülü ya da daha katıdır ve belgeleri RFC'nin açık bıraktığı konuları düzenler. Test aracı RFC'ye göre hesaplar ve bu noktaların her birini not olarak bildirir; böylece tüm crawler'larda aynı etkiyi gösteren bir dosya elde edersiniz.

RFC 9309 ile Google karşılaştırması, Google belgeleri 23 Ekim 2026 itibarıyla
KonuRFC 9309Google
Dosya boyutuen az 500 KiB okunmalıen fazla 500 KiB, gerisi yok sayılır
Önbelleken fazla 24 saat, dosyaya ulaşılamıyorsa hariçgenellikle 24 saate kadar, yenileme başarısız olursa daha uzun
Yönlendirmeen az beşini izleen az beş, sonra 404 gibi
404 ve diğer 4xxrobots.txt yok, her şeye izin varaynı şekilde, 429 hariç
5xx ya da erişilemiyorher şey engelli; uzun bir süre sonra (örnek: 30 gün) dosya yokmuş gibi ya da kayıtlı sürüm geçerli12 saat boyunca tarama yok, sonra 30 güne kadar son sağlam sürüm (o da yoksa kısıtlama yok), ardından site başka türlü erişilebilirse dosya yokmuş gibi
Yönergeleruser-agent, allow, disallow; diğer satırları, örneğin sitemap'i, crawler yorumlayabiliryalnızca user-agent, allow, disallow ve sitemap; noindex, nofollow ve crawl-delay 1 Eylül 2019'dan beri etkisiz
Yazım hatası, eksik iki noktasatır sayılmaz“Disalow” gibi bazı yazım hatalarını ve iki noktası olmayan satırları Google'ın ayrıştırıcısı yine de okur
Ek içeren adadlar yalnızca harf, - ve _ içerir“googlebot/1.2” ve “googlebot*” “googlebot” sayılır
Ü, ö gibi harfler, özel karakterlerkarşılaştırmadan önce yüzde kodlamasına çevrilmeliyüzde kodlamasıyla karşılaştırır
Sitemapcrawler yorumlayabilirprotokol ve host içeren tam adres, başka bir host üzerinde olabilir

Kaynaklar: RFC 9309, Google'ın robots.txt açıklaması (23 Ekim 2026 itibarıyla), 2 Temmuz 2019 tarihli Google blog yazısı, Google'ın ayrıştırıcısı. 14 Kasım 2026'da kontrol edildi.

Diğer arama motorlarının kendi özellikleri var. Bing Crawl-delay'e uyar ve kendi bingbot grubu yoksa msnbot grubunu okur; Yandex Crawl-delay'i 22 Şubat 2018'den beri değerlendirmez ve “User-agent: Yandex” ile tüm robotları için tek bir grubu vardır. Apple'ın crawler'ı kendi grubu yoksa Googlebot grubuna uyar, Google'ın reklam crawler'ları genel grubu tamamen atlar. Aşağıdaki tablo, test aracının bunlardan hangilerini hesaba kattığını gösterir.

robots.txt'ye hangi adlar yazılır

User-agent satırına product token, yani işletmecinin robots.txt için belirttiği kısa ad yazılır: “Googlebot”, sunucu günlüğünde görünen kimliğin tamamı değil. Test aracındaki liste yalnızca işletmecisinin belgelediği adları içerir ve özel yolları yalnızca işletmecinin tarif ettiği yerde hesaba katar.

Arama motorları ve Google crawler'ları, 14 Kasım 2026'da işletmecinin belgelerine göre kontrol edildi
robots.txt'deki adıSahibiNe içinÖzellik
GooglebotGoogleGoogle araması, yapay zekâ özetleri dahilKendi grubu yoksa “*” geçerlidir.
Googlebot-ImageGoogleGoogle GörsellerKendi grubu yoksa Googlebot grubuna uyar.
bingbotMicrosoftBing ve CopilotKendi grubu yoksa önce msnbot grubuna, ancak sonra “*” grubuna uyar. Crawl-delay'e uyar.
ApplebotAppleSiri, Spotlight, SafariKendi grubu yoksa Googlebot grubuna uyar.
DuckDuckBotDuckDuckGoDuckDuckGo'nun kendi diziniKendi grubu yoksa “*” geçerlidir.
YandexBotYandexYandex aramasıKendi grubu yoksa Yandex grubuna uyar. Crawl-delay Şubat 2018'den beri etkisiz.
Storebot-GoogleGoogleGoogle ShoppingGoogle yedek grup belgelemiyor; test aracı RFC 9309'a göre “*” ile hesaplar.
AdsBot-GoogleGoogleGoogle Ads hedef sayfalarını kontrol eder“*” grubunu atlar. Yalnızca kendi grubuyla engellenebilir.
Mediapartners-GoogleGoogleAdSense ve Ad Manager“*” grubunu atlar. Yalnızca kendi grubuyla engellenebilir.

Bunlara yapay zekâ sağlayıcılarının 24 kimliği eklenir; aralarında GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User var. 2023'ten beri web siteleri yapay zekâ sağlayıcılarını giderek daha fazla ve çok farklı biçimlerde engelliyor; kullanım koşulları ile robots.txt bu konuda sık sık çelişiyor Longpre vd. 2024. Yaklaşık 4 milyon alan adı üzerinde yapılan bir ölçüm, robots.txt'nin bunun için en önemli araç olmaya devam ettiğini ve yapay zekâ ajanlarının orada çoğunlukla Disallow ile kısıtlandığını gösteriyor Hoffmann vd. 2026. Hangi yapay zekâ crawler'ının ne için okuduğu yapay zekâ crawler kontrolünde yazıyor; o araç gerçek robots.txt dosyanızı da hemen çeker.

Yaygın durumlar için robots.txt yazın

robots.txt'ye ihtiyaç duyan kişi nadiren teknik terim öğrenmek ister. 203 sanatçıyla yapılan bir ankette dosyaya istek büyüktü, ama bunun için gereken bilgi ve kendi web sitesine erişim çoğu zaman yoktu Liu vd. 2025. Bu yüzden oluşturucu yalnızca crawler'ların neyi okuması gerektiğini sorar ve hilesiz, basit Allow ve Disallow satırları yazar. “Test aracında kontrol et” ile metin yukarıdaki test aracına aktarılır.

Oluşturucu · yaygın durumlar için robots.txt

robots.txt yalnızca taramayı düzenler. Veri korumaz, çünkü herkes onu okuyabilir; hiçbir sayfayı Google dizininden de çıkarmaz: Engellenen bir adres, başka sayfalar ona bağlantı verirse sonuçlarda açıklamasız görünebilir.

Crawler'lar neyi okuyabilsin?
Hangi bölümler engellensin?

Sonda eğik çizgi varsa kural yalnızca dizini engeller. Yoksa /intern kuralı /internes-handbuch yolunu da kapsar.

Her ad için iki satır: ?name= ve &name= için. Böylece “sort” kuralı “resort” parametresine uymaz.

https:// ve alan adıyla birlikte; yoksa bu satır eklenmez.

# robots.txt, erstellt mit dem robots.txt-Tester von aureum-tech.com (Stand 14. November 2026)
# Regelt nur das Crawlen. Schützt keine Daten und nimmt keine Seite aus dem Google-Index.
User-agent: *
Disallow:

Oluşturucu tarayıcıda çalışır ve hiçbir şey göndermez. Dosya robots.txt adıyla ana dizine konur; her alt alan adı için ayrı bir dosya gerekir.

Sitemap satırı neredeyse her zaman işe yarar. Bağlantı takibi ve site haritası birbirini tamamlar: Google'daki milyarlarca adres üzerinde, gelen bağlantısı olmayan sayfalar ve yeni içerikler site haritası sayesinde daha hızlı fark edildi Schonfeld ve Shivakumar 2009. Satır tam adresi gerektirir ve tüm gruplar için geçerlidir.

robots.txt'nin yapamadıkları

  • Dizinden hiçbir şey çıkarmaz. Google'a göre robots.txt, bir sayfayı Google'ın dışında tutmanın aracı değildir. Başka sayfaların bağlantı verdiği engelli bir adres, sonuçlarda açıklamasız görünebilir. Dizinden noindex ile çıkar ve Google bunu ancak sayfayı okuyabiliyorsa görür.
  • Hiçbir şeyi korumaz. Dosya herkese açıktır ve engellenen yolları listeler; RFC de açıkça erişim korumasının yerini tutmadığını söyler. Bir crawler'ın buna uyup uymaması, işletmecisinin tartıp vereceği bir karardır Thelwall ve Stuart 2006. Gizli içerik bir şifrenin arkasında olmalıdır.
  • Bir ricadır. İlk büyük incelemeler bile dosyayı bir zorlama aracı olarak değil, düzgün crawler'ların uyduğu bir kural olarak tanımladı Sun vd. 2007a. 130 adlandırılmış bot ile 40 gün süren denemelerde botlar daha katı kurallara daha seyrek uydu ve yapay zekâ arama crawler'ları dosyayı çoğu zaman hiç sorgulamadı Kim vd. 2025.
  • Yalnızca adlar üzerinden işler. Botlar güvenilir biçimde tanınamaz; yaygın yöntemlerin hiçbiri genel olarak güvenilir çalışmaz Doran ve Gokhale 2011. Başka bir adla gelen bota hiçbir kural uymaz.
  • Sıkı engeller sunucuda kurulur. Yapay zekâ crawler'larına karşı reverse proxy'deki engeller robots.txt'den daha etkili koruma sağladı Liu vd. 2025. Tersine, bazı hosting firmaları ve site oluşturucular crawler'ları robots.txt devreye girmeden reddeder: Bir Common Crawl kesitinde bu, web sitelerinin yaklaşık yüzde 1,68'iydi Ansar vd. 2025. O zaman en güzel Allow satırı bile işe yaramaz.
  • Test aracı sizin metninizle hesaplar. Sunucunuzun tam olarak bu dosyayı, 200 durum koduyla ve metin olarak sunup sunmadığını yapay zekâ crawler kontrolü gerçek bir çekme işlemiyle kontrol eder.

Test aracı bir ön soruyu yanıtlar. Sayfalarınızın gerçekten Google'da olup olmadığını ve değilse sebebini SpotLens Quick-Check gösterir. Kendiniz kontrol etmek için ilk adımlar Web sitesi Google'da bulunamıyor rehberinde; Rodewisch'te ve Vogtland'da web sitelerini nasıl bulunur hale getirdiğimiz SEO sayfasında. Bulunabilirlik için diğer araçlar SEO ve görünürlük altında.

Bu aracı bir yapay zekâ asistanı üzerinden kullanın

Claude ya da ChatGPT gibi Model Context Protocol (MCP) destekleyen asistanlar, bu sayfadaki hesabı baştan kurmak yerine doğrudan çağırabilir. Sunucu herkese açıktır, kayıt gerektirmez ve hiçbir şey kaydetmez. Cevapta her zaman bu sayfanın bağlantısı, verilerin tarihi ve sonucun sınırları yer alır.

Uç nokta
https://aureum-tech.com/mcp
Araç
werkzeug_robots_txt_tester
Aktarım
Streamable HTTP, salt okunur
Girdiler
AdZorunluAnlamı
robots_txtevet/robots.txt altında durduğu haliyle robots.txt dosyasının tam metni.
pfadehayırEn fazla 50 yol veya tam URL, örn. “/kontakt” ya da “https://www.firma.de/blog?seite=2”. URL'lerde yol ve query sayılır. Belirtilmezse “/”.
crawlerhayırCrawler'ların product token'ları, örn. Googlebot, bingbot, GPTBot; kendi grubu olmayan her crawler için “*”. Bilinenler: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. Diğer adlar RFC 9309'a göre kontrol edilir. Belirtilmezse: Googlebot, bingbot, GPTBot, ClaudeBot, *.

Bir asistanın bu aracı çağırması gereken sorular

  • “Bu robots.txt ile Googlebot /wp-admin/admin-ajax.php adresini çekebilir mi?”
  • “‘User-agent: *’ altındaki engellemem neden GPTBot için geçerli değil?”
  • “robots.txt dosyamın hangi satırı https://www.firma.de/shop?sort=preis adresini Bingbot için engelliyor?”
  • “robots.txt dosyamdaki ‘Disalow: /intern/’ bir hata mı, Google bu satırı yine de okur mu?”

Bağlantının nasıl çalıştığını ve MCP'nin kendi işletmenizde neler yapabileceğini MCP entegrasyonları sayfasında okuyabilirsiniz.

robots.txt hakkında sık sorulan sorular

“Disallow” bir sayfayı Google dizininden çıkarır mı?

Hayır. Disallow yalnızca sayfanın çekilmesini yasaklar. Başka sayfalar bu adrese bağlantı verirse Google onu yine de arama sonuçlarına alabilir, o zaman açıklamasız gösterir. Bir sayfanın kaybolmasını istiyorsanız Google'ın onu okuyabilmesi ve orada meta etiketinde ya da X-Robots-Tag'de bir noindex bulması gerekir; aksi halde sayfa 404 veya 410 ile yanıt vermeli ya da bir şifrenin arkasında durmalıdır. Engelleme ile noindex birlikte tam tersini yapar: Google noindex'i hiç görmez.

“User-agent: *” altındaki engellemem neden Googlebot için geçerli değil?

Çünkü Googlebot için ayrı bir grup var. Bir crawler kendi adını taşıyan gruba uyar; ancak böyle bir grup yoksa genel grup “*” geçerli olur. Bu yüzden orada engellenen her şey, adı belirtilmiş her grupta da yer almalıdır. Test aracı her sonuçta hangi grubun geçerli olduğunu gösterir.

Allow ve Disallow aynı yola uyuyorsa hangisi kazanır?

Karakter sayısı olarak daha uzun olan kural. Uzunluk eşitse Allow kazanır; dosyadaki sıranın önemi yoktur. “Disallow: /shop/” ve “Allow: /shop/angebote/” ile /shop/angebote/ açık kalır, mağazanın geri kalanı kapanır.

Değiştirilen bir robots.txt Google'da ne kadar sürede etkili olur?

Google dosyayı genellikle 24 saate kadar önbellekte tutar, yenileme başarısız olursa daha uzun da tutar. O zamana kadar eski kurallar geçerlidir. Bu yüzden bir değişikliği önce burada kontrol edin, ancak ondan sonra sunucuya yükleyin.

Gizli bölümleri robots.txt ile koruyabilir miyim?

Hayır. Dosya herkese açıktır, herkes onu açabilir ve engellenen yolları üstelik ele verir. Standardın kendisi de bunu yazar: Erişim korumasının yerini tutmaz. Gizli içerik bir oturum açma ekranının ya da sunucuda şifre korumasının arkasında olmalıdır.

Google robots.txt içindeki Crawl-delay veya Noindex'e uyar mı?

Hayır. Google yalnızca user-agent, allow, disallow ve sitemap satırlarını okur. robots.txt içindeki noindex, nofollow ve crawl-delay 1 Eylül 2019'dan beri Google'da etkisizdir. Bing Crawl-delay'e uyar, Yandex Şubat 2018'den beri uymaz, Applebot uymaz. Test aracı bu tür satırları işaretler.

robots.txt test aracının sınırı nerede?

Yapıştırdığınız metinle RFC 9309'a ve crawler'ların belgelenmiş özelliklerine göre hesaplar. Sunucunuzun tam olarak bu dosyayı sunup sunmadığını yapay zekâ crawler kontrolü gerçek bir çekme işlemiyle kontrol eder. Sayfalarınızın dizinde olup olmadığını ve değilse sebebini SpotLens Quick-Check gösterir. Sayfaları Google'dan uzak tutan sorunları isterseniz biz gideririz.

Bu araç neye dayanıyor

Yukarıdaki ölçütler ve notlar bu 13 bilimsel çalışmaya dayanır. Her biri DOI'si veya yayınevinin sayfası üzerinden kontrol edildi (en son 14 Kasım 2026'da): Çalışma mevcut, geri çekilmemiş ve bulgusu bu soru için bugün de geçerli.

  1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), s. 1123–1124

    Bulgu 7.593 web sitesi üzerinde art arda yapılan beş inceleme, robots.txt'nin giderek daha sık kullanıldığını gösteriyor. Dosya hiçbir şeyi zorla uygulamaz; ona uyanlar düzgün crawler'lardır.

    Araçta Her sonucun üstündeki uyarıya dayanak: robots.txt bir ricadır, kilit değil.

  2. Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), s. 149–155

    Bulgu 2.925 robots.txt dosyasında büyük arama motorlarının crawler'ları kendi grupları üzerinden çoğunlukla kayırılıyordu ve bu kayırma pazar payıyla güçlü biçimde bağlantılıydı.

    Araçta Bu yüzden test aracı birden fazla crawler'ı yan yana karşılaştırır ve hangi grubun kimin için geçerli olduğunu gösterir: Farklar adı belirtilmiş gruplar üzerinden oluşur.

  3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), s. 1171–1172

    Bulgu Yaklaşık 6 milyon web sitesi üzerinde yapılan bir inceleme, 2007'deki daha küçük çalışmanın aksine belirli bir arama motorunun kayda değer biçimde kayırıldığını bulmadı.

    Araçta Metinde, kayırmaya ilişkin bulguların örnekleme göre farklılaştığı belirtilir. Bu yüzden test aracı değerlendirme yapmaz, her crawler için geçerli grubu gösterir.

  4. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), s. 1101–1102

    Bulgu Ticari crawler'ların çoğu kurallara uygun davrandı, ama birçoğu belirli robots.txt kurallarını tekrar tekrar ihlal etti ya da yanlış anladı.

    Araçta Bu yüzden test aracı crawler'ların farklı okuduğu satırları bildirir ve oluşturucu yalnızca basit Allow ve Disallow satırları yazar.

  5. Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), s. 668–675

    Bulgu Her biri farklı bir robots.txt kuralı taşıyan tuzak sayfalarla birçok crawler'ın davranışı ölçüldü. Kurallara ne kadar uydukları büyük farklılık gösterdi; birçok ticari crawler belirli kuralları düzenli olarak ihlal etti.

    Araçta “Kural davranış değildir” sınırını destekler: Bir crawler'ın gerçekten uyup uymadığını test aracı değil, yalnızca sunucu günlüğü gösterir.

  6. Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), s. 1771–1779

    Bulgu Çalışma, taramanın site sahipleri için sonuçlarını maliyet, gizlilik ve aşırı yük başlıklarında sınıflandırır. Bir taramanın kabul edilebilir olup olmadığı, crawler işletmecisinden her durumda ayrı bir değerlendirme gerektirir.

    Araçta Test aracının gizli bölümler için neden Disallow satırı yerine şifre korumasını önerdiğini açıklar.

  7. Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), s. 991–1000

    Bulgu Google'da milyarlarca adres üzerinde bağlantı takibi ile site haritalarının karşılaştırılması, ikisinin birbirini iyi tamamladığını gösteriyor: Site haritaları gelen bağlantısı olmayan sayfaları ve yeni içerikleri daha hızlı görünür kılar.

    Araçta Bu yüzden test aracı Sitemap satırlarını ayrıca listeler, tam adres olarak yazılıp yazılmadıklarını kontrol eder ve oluşturucu da bir tane ekler.

  8. Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), s. 183–210

    Bulgu Botları tanımaya yönelik yaygın yöntemlerin karşılaştırması, hiçbirinin genel olarak güvenilir çalışmadığını gösteriyor. Bazı botlar kötü davranıyor ya da sunucuya ciddi yük bindiriyor.

    Araçta Botların güvenilir biçimde tanınamayacağı sınırını destekler: Bir kural yalnızca adını bildiren ve kurala uyan crawler'larda işe yarar.

  9. Kim, T.; Bock, K.; Luo, C. vd. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 541–557

    Bulgu 130 adlandırılmış bot ile 40 gün süren kontrollü denemelerde botlar daha katı kurallara daha seyrek uydu ve yapay zekâ arama crawler'ları robots.txt'yi çoğu zaman hiç sorgulamadı.

    Araçta Bu yüzden her “engelli” sonucunda engelin bir rica olduğu notu, oluşturucudaki “Her şeyi engelle” seçeneğinde de sunucuda gerçek koruma kurma tavsiyesi yer alır.

  10. Longpre, S.; Mahari, R.; Lee, A. vd. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), s. 108042–108087

    Bulgu Yapay zekâ eğitim verilerinin arkasındaki 14.000 alan adının incelenmesi, bir yıl içinde engellemelerde güçlü bir artış, yapay zekâ sağlayıcıları arasında büyük farklar ve kullanım koşulları ile robots.txt arasında sık çelişkiler buldu.

    Araçta Bu yüzden yapay zekâ crawler'ları tek tek seçilebilir ve test aracı “eğitime evet mi hayır mı” sorusu için yapay zekâ crawler kontrolüne yönlendirir.

  11. Liu, E.; Luo, E.; Shan, S. vd. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 78–99

    Bulgu Ölçümler ve 203 sanatçıyla yapılan bir anket, robots.txt'ye büyük ihtiyaç olduğunu, ama teknik bilgi ve kendi web sitesine erişim konusunda engeller bulunduğunu gösteriyor. Reverse proxy'deki engeller daha etkili koruma sağladı.

    Araçta Teknik terim gerektirmeyen, yaygın durumlar için oluşturucu ve sıkı bir engel için hosting firmasını işe dahil etme notu buradan gelir.

  12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), s. 29–41

    Bulgu Yaklaşık 4 milyon alan adı üzerinde yapılan bir ölçüm şunu gösteriyor: robots.txt, crawler'lara erişime izin vermenin veya erişimi yasaklamanın en önemli aracı olmaya devam ediyor. Yapay zekâ ajanları orada özellikle Disallow satırlarıyla kısıtlanıyor.

    Araçta Test aracının neden robots.txt ile sınırlı kaldığını ve yapay zekâ kimliklerini arama motorlarıyla eşit düzeyde kontrol ettiğini açıklar.

  13. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, s. 197–214

    Bulgu Bir Common Crawl kopyasındaki web sitelerinin yaklaşık %1,68'i crawler'ı açıkça reddetti; bu çoğu zaman büyük hosting firmaları ve site kurucu sağlayıcıları üzerinden oldu, engellemeden doğrulama sayfasına kadar.

    Araçta Hosting firması ya da bot koruması crawler'ı önceden reddederse izin veren bir robots.txt'nin işe yaramayacağı sınırı buradan gelir.

Standartlar, resmî kurumlar ve üretici bilgileri

Pzt–Cum 8–17

Kopyaladığınız sonucu bize gönderin. Web sitenizin robots.txt ve site haritasını kontrol ederiz, sayfaları Google'dan uzak tutan sorunları gideririz; Rodewisch'te ve tüm Vogtland'da.

+49 3744 4399760[email protected]

Pzt–Cum 8–17 · Straße der Jugend 5, 08228 Rodewisch

robots.txt dosyanızı bize kontrol ettirin
+49 3744 4399760Pzt–Cum 8–17
ArayınGeri arama

PARÇA LİSTESİ · SAYFA 1/1

Bu sayfa nelerden oluşuyor

Değerler sayfa oluşturulurken ölçüldü. JavaScript açıksa tarayıcınız canlı olarak yeniden ölçer.

SIRAPARÇATÜRBOYUT
01index.htmlBelge≈ 29 kB
02styles.cssStil dosyası≈ 20 kB
03scripts.jsKomut dosyası≈ 13 kB
04archivo-variable.woff2Yazı tipi≈ 58 kB
05ibm-plex-mono.woff2Yazı tipi≈ 30 kB
06favicon.svgGrafik< 1 kB

Reklam ya da analiz çerezi: yok. Siz onay vermeden bu site, içerik dağıtım hizmetimiz Cloudflare dışında yabancı sunuculardan hiçbir şey yüklemez; yazı tipleri, komut dosyaları ve grafikler bizde durur. Sizin IT sisteminizi de böyle kuruyoruz.

ÇALIŞMA SAATLERİ DIŞINDA

Yine de çekinmeden arayın

Normalde pazartesiden cumaya 8–17 arası ofisteyiz.

Numara akşamları ve hafta sonu da bize yönlendirilir, çoğu zaman da telefonu açan biri olur. Ama bunun sözünü veremeyiz.

Kimseye ulaşamazsanız kısa bir sesli mesaj bırakın: adınız, numaranız ve konu. En kısa zamanda, en geç bir sonraki iş günü sizi geri ararız.

Görüşme ücretsizdir. Çalışma saatleri dışında birinin hemen ilgilenmesi gerekiyorsa fiyat listesindeki ek ücret uygulanır.

Şimdi arayın+49 3744 4399760

Yazmayı mı tercih edersiniz? İletişim formunu kullanın ya da [email protected] adresine yazın. Mesajınızı bir sonraki iş günü okuruz.

TEŞHİS · AT-K2

Nasıl yardımcı olabiliriz?

↵ SEÇESC KAPATBİZİ ARAYIN: +49 3744 4399760

Kişisel ayarlar

Hangi hizmetler yüklenebilsin?

Teknik olarak gerekli

Burada verdiğiniz karar ile renk şeması ve hareket ayarlarınız. Bu bilgiler cihazınızda küçük kayıtlar olarak kalır ve hiçbir zaman bir sunucuya gönderilmez. Sitenin çalışması için gereklidir, bu yüzden kapatılamaz.