Amûr AT-W48REV. 2026-A

Testkera robots.txt: Googlebot dikare vê rûpelê bixwîne?

Ji bo Googlebot, destûra stendina naveroka rûpelekê bi rêza biryarder di robots.txt de tê diyarkirin. Ew rêgeza herî dirêj a ku li rêyê tê, di koma ku ji bo vî crawlerî derbas dibe de ye. Nivîsa dosyaya xwe pêve bikin û rê an navnîşanên tam binivîsin. Testker ji bo Googlebot, Bingbot, GPTBot û crawlerên din nîşan dide ka destûr heye an na û kîjan rêz biryar dide. Herwiha nîşan dide ka Google kîjan rêgezan cuda ji standardê şîrove dike.

  • belaş
  • bê qeydkirin
  • Nivîs di gerokê de dimîne

robots.txt pêve bikin, rê bi rê kontrol bikin

Testker · robots.txt li gor RFC 9309

Nirxandin li gor RFC 9309 û taybetmendiyên piştrastkirî yên crawlerên cuda tê kirin. Rêveberê crawlerê biryar dide ka crawler li gor wan tevdigere an na.

Di gerokê de ihre-firma.de/robots.txt vekin û hemû nivîsê kopî bikin. Hûn dikarin dosyayê bi Kontrola crawlerên AI bigirin.

Heta 50. Ji navnîşanên tam rê û parametre tên hesibandin, mînak /shop?sort=preis.

Ji bo kîjan crawleran?
Motorên lêgerînê · 6
Crawlerên din ên Google · 3
Crawlerên AI · 24

Navê ku rêveber ji bo robots.txt diyar dike (tokena berhemê), ne nasnameya tevahî ya gerokê.

Testker di gerokê de hesab dike. Nivîs û navnîşan ji cîhaza we dernakevin.

Encam

robots.txt-ya xwe pêve bikin û rêyan binivîsin. Ji bo ceribandinê mînakek heye.

Crawler wiha biryar dide ka rûpelekê bigire an na

Ji Îlona 2022 ve rêbaz wek RFC 9309 hatiye nivîsandin; berê lihevkirineke ji 1994 bû ku crawlerên mezin carinan zêdetir, carinan kêmtir bi hûrgilî li gor wê tevdigeriyan Sun û yên din 2010. Testker li gor RFC, bi vê rêzê hesab dike:

  1. Dosya. Ew di peldanka sereke de li /robots.txt ye û tenê ji bo tam heman hostê bi protokol û portê re derbas dibe. Dosyaya li ihre-firma.de ji bo www.ihre-firma.de û shop.ihre-firma.de derbas nabe.
  2. Kom. Crawler li komên bi navê xwe digere. Tîpên mezin û biçûk ferq nakin. Heke çend kom bi heman navî hebin, rêgezên wan tên berhevkirin. „User-agent: *" tenê dema ku tu kom bi navê crawlerê tune be derbas dibe. Heke koma giştî jî tune be, robots.txt tu rêyê nagire.
  3. Rêgez. Di komê de rêgeza Allow an Disallow a herî dirêj ku li destpêka rêyê tê pêşî digire. Heke rêgez bi heman dirêjahiyê bin, Allow pêşî digire. Rêza xetan encama destûrê naguherîne.
  4. Karakter. Stêrk li şûna her hejmarek karakteran e, nîşana dolarê ya li dawiyê dawiya navnîşanê nîşan dide. Tîpên mezin û biçûk di rêyê de ferq dikin. Crawler umlautan bi kodkirina ji sedî dide ber hev, ji ber vê yekê „/über" û „/%C3%BCber" yek in.
  5. Îstîsna. Her kes dikare robots.txt bi xwe bigire û rêzên Sitemap serbixwe ji koman derbas dibin.
KÎJAN KOM DERBAS DIBE?CRAWLER/robots.txtTAYBETKOMHEKE TUNE BE KOM*HEKE EW JÎ TUNE BE HEMÛDESTÛRDARKÎJAN RÊGEZ DERBAS DIBE?RÊRÊGEZÊN LI RÊYÊ TÊNYA HERÎ DIRÊJBI SER DIKEVE, WEKHEVDIRÊJ: ALLOWDESTÛRDAR ANPARASTÎKÎJAN KOM DERBAS DIBE?CRAWLER/robots.txtKOMA TAYBETHEKE TUNE BE KOMA *HEKE EW JÎ TUNE BE HEMÛ DESTÛRDAR INKÎJAN RÊGEZ DERBAS DIBE?RÊRÊGEZÊN LI RÊYÊ TÊNYA HERÎ DIRÊJ BI SER DIKEVE, WEKHEVDIRÊJ: ALLOWDESTÛRDAR AN GIRTÎ
WÊNE 1 · CRAWLER ROBOTS.TXT ÇAWA DIXWÎNEZÊR = DOSYAYA WE · DU PIRSÊN LI DU HEV

Şêweyek li çi tê

Mînakên ku bi heman fonksiyona testkerê hatine hesibandin
Şêweli van têli van nayê
/fisch/fisch, /fisch.html, /fischkopf/rezept/Fisch, /katalog/fisch
/fisch//fisch/, /fisch/?sorte=lachs/fisch, /fisch.html
/*.php/index.php, /ordner/seite.php?id=1/, /seite.PHP
/*.php$/seite.php/seite.php?id=1, /seite.php5
/*?s=/?s=preise, /blog/?s=test/blog/?seite=2

Berhevdankirin her dem ji destpêka rêyê dest pê dike, ji ber vê yekê /fisch li /katalog/fisch nayê. Heke mebesta we „li her derê" be, stêrkekê li pêş wê binivîsin.

Rêgeza herî dirêj bi ser dikeve

Di mînakê de kom dikanê digire, lê pêşniyaran ji vê derdixe. Ji bo /shop/angebote/herbst testker wiha hesab dike: bi rêza 3 „Allow: /shop/angebote/" di koma „User-agent: *" de destûr heye. Ew bi 15 karakteran ji 2 rêgezên li rêyê tên ya herî dirêj e. Lê ji bo /shop/kasse encam girtî ye, ji ber ku tenê rêgeza kurttir li wê tê.

Crawlerên bazirganî demeke dirêj hin rêgez bi berdewamî binpê dikirin an şaş fêm dikirin Giles û yên din 2010. Ji RFC ve hesab zelal e, lê her crawler li gor wê tevnagere. Ji ber vê yekê testker rêzên ku crawler cuda dixwînin radigihîne.

User-agent: *
Disallow: /shop/
Allow: /shop/angebote/

Şaşiya herî gelemperî: kom tu rêzikî mîras nagirin

Heke crawler komeke taybet bistîne, koma giştî êdî ji bo wî derbas nabe, heta bi qismî jî na. Di mînakê de divê /intern/ ji bo hemûyan girtî be, lê Googlebot ji bo reşnivîsan komeke taybet distîne. Encama /intern/preise: Bingbot girtî ye, lê Googlebot destûrdar e. Ji ber vê yekê tiştên ku divê ji bo hemûyan derbas bibin divê di her koma binavkirî de hebin.

Komên binavkirî pir tên bikaranîn. Di lêkolîneke destpêkê ya li ser 2.925 dosyayên robots.txt de motorên mezin ên lêgerînê bi komên taybet bi gelemperî ji yên din zêdetir destûra gihîştinê digirtin Sun û yên din 2007b; lêkolîneke paşîn a li ser nêzîkî 6 milyon malperan tu pêşîdana berbiçav nedît Kolay û yên din 2008. Bi qest an bê qest, testker ji bo her crawlerê hilbijartî koma ku derbas dibe nîşan dide û di dîtina giştî de nîşan dide ka her kom ji bo kê derbas dibe.

User-agent: *
Disallow: /intern/

User-agent: Googlebot
Disallow: /entwurf/

Google li ku robots.txt ji standardê cuda dixwîne

Google di nivîsandina RFC de beşdar bûye û bi bingehîn li gor wê tevdigere. Li hin cihan parsera Google nermtir an hişktir e û belgekirin tiştên ku RFC vekirî dihêle diyar dike. Testker li gor RFC hesab dike û her yek ji van cihan wek agahî radigihîne, da ku hûn dosyayekê bidest bixin ku li hemû crawleran heman bandorê bike.

Berhevdana RFC 9309 û Google, belgekirina Google ya 23ê Cotmeha 2026
XalRFC 9309Google
Mezinahiya dosyayêherî kêm 500 KiB bixwîneherî zêde 500 KiB, beşa mayî tê paşguhkirin
Bîra demkîherî zêde 24 saet, ji bilî dema ku dosya nayê gihîştinbi gelemperî heta 24 saetan, heke nûkirin bi ser nekeve dirêjtir
Beralîkirinherî kêm pêncan bişopîneherî kêm pênc, piştre wek 404
404 û 4xx yên dinrobots.txt tune ye, her tişt destûrdar ebi heman awayî, ji bilî 429
5xx an nayê gihîştinher tişt girtî ye; piştî demeke dirêjtir (mînak 30 roj) wek ku tune be an guhertoya tomarkirî12 saet bê crawling, piştre heta 30 rojan guhertoya dawî ya baş (bê wê tu sînorkirin tune), piştre wek bê dosya, heke beşên din ên malperê bên gihîştin
Fermanuser-agent, allow, disallow; crawler dikare rêzên din jî şîrove bike, mînak sitemaptenê user-agent, allow, disallow û sitemap; noindex, nofollow û crawl-delay ji 1ê Îlona 2019 ve bêbandor in
Şaşiyên nivîsandinê, du xalên tunerêz nayê hesibandinparsera Google dîsa hin şaşiyên wek „Disalow" û rêzên bê du xalan dixwîne
Nav bi pêvekênav tenê ji tîpan, - û _ pêk tên„googlebot/1.2" û „googlebot*" wek „googlebot" tên hesibandin
Umlaut, karakterên taybetberî berhevdankirinê bi kodkirina ji sedî kod bikinbi kodkirina ji sedî dide ber hev
Sitemapcrawler dikare şîrove bikenavnîşana tam bi protokol û hostê, dikare li hosteke din be

Çavkanî: RFC 9309, Google li ser robots.txt (rewşa 23ê Cotmeha 2026), Bloga Google ya 2ê Tîrmeha 2019, Parsera Google. Di 14ê Mijdara 2026 de hatiye kontrolkirin.

Motorên din ên lêgerînê taybetmendiyên xwe hene. Bing guh dide Crawl-delay û heke koma taybet bingbot tune be koma msnbot dixwîne; Yandex ji 22ê Sibata 2018 ve êdî Crawl-delay nahesibîne û bi „User-agent: Yandex" komeke ji bo hemû robotên xwe heye. Crawlerê Apple heke koma taybet tune be li gor koma Googlebot tevdigere; crawlerên reklamê yên Google koma giştî bi tevahî paşguh dikin. Tabloya li jêr dibêje ka testker ji van çi hesab dike.

Kîjan nav divê di robots.txt de bin

Di rêza User-agent de divê tokena berhemê hebe, yanî navê kurt ê ku rêveber ji bo robots.txt diyar dike: „Googlebot", ne nasnameya tevahî ya ku di loga serverê de ye. Lîsteya testkerê tenê navên ku rêveberê wan belge kiriye dihewîne û rêbazên taybet tenê li cihên ku ew rave dike hesab dike.

Motorên lêgerînê û crawlerên Google, di 14ê Mijdara 2026 de li gor belgekirina rêveber hatine kontrolkirin
Navê di robots.txt dePêşkêşkerJi bo çiTaybetmendî
GooglebotGoogleLêgerîna Google, tevî kurteyên AIHeke koma taybet tune be, „*" derbas dibe.
Googlebot-ImageGoogleWêneyên GoogleHeke koma taybet tune be, li gor koma Googlebot tevdigere.
bingbotMicrosoftBing û CopilotHeke koma taybet tune be, li gor komeke msnbot tevdigere, tenê piştre „*". Guh dide Crawl-delay.
ApplebotAppleSiri, Spotlight, SafariHeke koma taybet tune be, li gor koma Googlebot tevdigere.
DuckDuckBotDuckDuckGoîndeksa xwe ya DuckDuckGoHeke koma taybet tune be, „*" derbas dibe.
YandexBotYandexLêgerîna YandexHeke koma taybet tune be, li gor koma Yandex tevdigere. Crawl-delay ji Sibata 2018 ve êdî bandor nake.
Storebot-GoogleGoogleGoogle ShoppingGoogle tu koma cîgir belge nake; testker li gor RFC 9309 bi „*" hesab dike.
AdsBot-GoogleGoogleRûpelên armancê yên Google Ads kontrol dikeKoma „*" paşguh dike. Tenê bi komeke taybet tê girtin.
Mediapartners-GoogleGoogleAdSense û Ad ManagerKoma „*" paşguh dike. Tenê bi komeke taybet tê girtin.

24 nasnameyên pêşkêşkerên AI jî lê zêde dibin, di nav wan de GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User. Ji 2023 ve malper pêşkêşkerên AI her ku diçe zêdetir û bi awayên pir cuda digirin; di vê de mercên bikaranînê û robots.txt gelek caran li hev nakin Longpre û yên din 2024. Pîvaneke li ser nêzîkî 4 milyon domainan nîşan dide ku robots.txt ji bo vê amûra herî girîng dimîne û agentên AI li wir bi gelemperî bi Disallow tên sînorkirin Hoffmann û yên din 2026. Di Kontrola crawlerên AI de hatiye nivîsandin ka kîjan crawlerê AI ji bo çi dixwîne; ew herwiha robots.txt-ya we ya rastîn jî digire.

Ji bo rewşên gelemperî robots.txt binivîsin

Kesên ku hewcedariya wan bi robots.txt heye, kêm caran dixwazin têgînên pisporiyê hîn bibin. Di anketa 203 hunermendan de daxwaza dosyayê mezin bû, lê zanyariya li ser wê û gihîştina malpera xwe gelek caran tune bû Liu û yên din 2025. Ji ber vê yekê çêker tenê dipirse ka divê crawler çi bixwînin û rêzên hêsan ên Allow û Disallow bê hîleyan dinivîse. Bi „Di testkerê de kontrol bikin" nivîs diçe testkera li jor.

Çêker · robots.txt ji bo rewşên gelemperî

robots.txt tenê crawlingê rêk dixe. Ew daneyan naparêze, ji ber ku her kes dikare wê bixwîne, û tu rûpelê ji îndeksa Google dernaxe: heke rûpelên din lînka navnîşaneke astengkirî bidin, ew navnîşan dikare bê ravekirin di encamên lêgerînê de xuya bibe.

Divê crawler karibin çi bixwînin?
Kîjan beş bên girtin?

Bi xêza paldayî ya li dawiyê, rêgez tenê peldankê digire. Bê wê, /intern li /internes-handbuch jî tê.

Ji bo her navî du rêz, ji bo ?name= û &name=. Bi vî awayî „sort" li „resort" jî nayê.

Bi https:// û domainê, heke na rêz nayê nivîsandin.

# robots.txt, erstellt mit dem robots.txt-Tester von aureum-tech.com (Stand 14. November 2026)
# Regelt nur das Crawlen. Schützt keine Daten und nimmt keine Seite aus dem Google-Index.
User-agent: *
Disallow:

Çêker di gerokê de dixebite û tiştek naşîne. Dosya divê bi navê robots.txt di peldanka sereke de be, ji bo her subdomainê dosyayeke taybet.

Rêza Sitemap hema her dem bikêr tê. Şopandina lînkan û sitemap hev temam dikin: di milyaran navnîşanên Google de rûpelên bê lînkên hatinê û naveroka nû bi sitemapê zûtir hatin dîtin Schonfeld û Shivakumar 2009. Rêz hewcedarê navnîşana tam e û ji bo hemû koman derbas dibe.

Tiştên ku robots.txt nikare bike

  • Rûpelê ji îndeksê dernaxe. Li gorî Google, robots.txt ne amûrek e ku rûpelekê ji Google dûr bihêle. Navnîşaneke astengkirî ku rûpelên din lînka wê didin dikare bê ravekirin di encamên lêgerînê de xuya bibe. Ew bi noindex ji îndeksê derdikeve, û Google tenê dema ku destûra xwendina rûpelê hebe wê dibîne.
  • Ew tiştek naparêze. Dosya ji her kesî re vekirî ye û rêyên girtî lîste dike; RFC bi eşkere dibêje ku ew cihê parastina gihîştinê nagire. Ka crawler li gor wê tevdigere an na bi nirxandina rêveberê wî ve girêdayî ye Thelwall û Stuart 2006. Tiştên nehênî divê li pişt şîfreyekê bin.
  • Ew daxwazek e. Lêkolînên mezin ên pêşîn jî dosya wek rêgezek ku crawlerên rastgo li gor wê tevdigerin rave kirin, ne wek mecbûrkirin Sun û yên din 2007a. Di ceribandinên bi 130 botên binavkirî di 40 rojan de, bot kêmtir li gor rêgezên hişktir tevdigeriyan û crawlerên lêgerîna AI gelek caran dosya qet nedixwestin Kim û yên din 2025.
  • Ew tenê li ser navan bandor dike. Bot bi teqezî nayên naskirin; tu rêbazên gelemperî vê yekê bi giştî bi pêbawerî nakin Doran û Gokhale 2011. Yê ku bi navê kesekî din tê, li tu rêgezê nayê.
  • Girtinên hişk li serverê ne. Girtinên li reverse-proxy li dijî crawlerên AI ji robots.txt bandortir parastin Liu û yên din 2025. Ji aliyê din ve hin hoster û pergalên çêkirina malperan crawleran berî ku robots.txt were hesibandin red dikin: di kopiyeke Common Crawl de ev nêzîkî 1,68 ji sedî malperan bûn Ansar û yên din 2025. Wê demê rêza Allow ya herî baş jî bêfeyde ye.
  • Testker bi nivîsa we hesab dike. Kontrola crawlerên AI bi daxwazeke rastîn kontrol dike ka servera we tam vê dosyayê, bi statusa 200 û wek nivîs pêşkêş dike an na.

Testker bersiva pirseke pêşîn dide. Quick-Check ya SpotLens nîşan dide ka rûpelên we bi rastî li Google ne û heke ne wisa be sedem çi ye. Gavên pêşîn ji bo ku hûn bi xwe kontrol bikin di rêbera Malper li Google nayê dîtin de ne; çawa em malperan li Rodewisch û Vogtland dikin ku bên dîtin, di bin SEO de ye. Amûrên din ji bo dîtinê di bin SEO û xuyabûn de ne.

Vê amûrê ji alîkarekî AI bi kar bînin

Alîkarên wek Claude an ChatGPT, ku Model Context Protocol (MCP) bi kar tînin, dikarin hesabê vê rûpelê rasterast bang bikin, li şûna ku wî ji nû ve çêkin. Server giştî ye, qeydkirinê naxwaze û tiştekî tomar nake. Bersiv her tim lînka vê rûpelê, dîroka daneyan û sînorên encamê dihewîne.

Xala girêdanê (endpoint)
https://aureum-tech.com/mcp
Amûr
werkzeug_robots_txt_tester
Transport
Streamable HTTP, tenê xwendin
Têketin
NavMecbûrîWate
robots_txterêNivîsa tevahî ya robots.txt, wek ku li /robots.txt heye.
pfadenaHeta 50 rê an URL-yên tam, mînak „/kontakt" an „https://www.firma.de/blog?seite=2". Ji URL-yan rê û query tên hesibandin. Bê diyarkirin „/".
crawlernaTokenên berhemê yên crawleran, mînak Googlebot, bingbot, GPTBot; „*" ji bo her crawlerê bê koma taybet. Yên naskirî: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. Navên din li gor RFC 9309 tên kontrolkirin. Bê diyarkirin: Googlebot, bingbot, GPTBot, ClaudeBot, *.

Pirsên ku divê alîkarek ji bo wan vê amûrê bang bike

  • „Ma Googlebot bi vê robots.txt dikare /wp-admin/admin-ajax.php bigire?"
  • „Çima girtina min a di bin „User-agent: *" de ji bo GPTBot derbas nabe?"
  • „Kîjan rêza robots.txt-ya min https://www.firma.de/shop?sort=preis ji bo Bingbot digire?"
  • „Ma „Disalow: /intern/" di robots.txt-ya min de şaşî ye û Google dîsa wê rêzê dixwîne?"

Girêdan çawa dixebite û MCP di şîrketa we de çi dikare bike, li ser rûpela Entegrasyonên MCP heye.

Pirsên pir tên kirin li ser robots.txt

Ma „Disallow" rûpelekê ji îndeksa Google derdixe?

Na. Disallow tenê stendina naveroka rûpelê ji crawler re qedexe dike. Heke rûpelên din lînka wê navnîşanê bidin, Google dîsa dikare wê navnîşanê bê ravekirin di encamên lêgerînê de nîşan bide. Ji bo rakirina rûpelê bi noindex, divê Google bikaribe rûpelê bixwîne û noindex di Meta-Tag an X-Robots-Tag de bibîne. Vebijarkên din bersiva 404 an 410 an parastina rûpelê bi şîfreyê ne. Heke robots.txt rêya rûpelê bigire, Google nikare noindex-a wê bixwîne.

Çima girtina min a di bin „User-agent: *" de ji bo Googlebot derbas nabe?

Ji ber ku ji bo Googlebot komeke taybet heye. Crawler rêgezên koma ku bi navê wî ye bi kar tîne. Koma giştî „*" tenê dema ku tu kom bi navê wî tune be derbas dibe. Heke dixwazin qedexeyek ji bo hemû crawleran derbas bibe, wê hem di koma giştî de û hem di her koma taybet de binivîsin. Testker di her encamê de nîşan dide ka kîjan kom derbas bûye.

Heke Allow û Disallow li heman rêyê bên, kîjan bi ser dikeve?

Rêgeza dirêjtir, li gor hejmara karakteran, pêşî digire. Heke dirêjahî wekhev be, Allow pêşî digire. Rêza xetan di dosyayê de encama destûrê naguherîne. Bi „Disallow: /shop/" û „Allow: /shop/angebote/" crawler dikare naveroka /shop/angebote/ bistîne, lê nikare naveroka beşên din ên dikanê bistîne.

robots.txt-ya guhertî çiqas zû li Google bandor dike?

Google dosyayê bi gelemperî heta 24 saetan tomar dike, û heke nûkirin bi ser nekeve, dirêjtir jî. Heta wê demê rêgezên kevn derbas dibin. Ji ber vê yekê guhertinê pêşî li vir kontrol bikin û tenê piştre bar bikin.

Ma ez dikarim bi robots.txt beşên nehênî biparêzim?

Na. Dosya ji her kesî re vekirî ye, her kes dikare wê veke û ew rêyên girtî jî eşkere dike. Standard bi xwe jî dibêje: ew cihê parastina gihîştinê nagire. Tiştên nehênî divê li pişt têketina hesabê an parastina bi şîfreyê ya li serverê bin.

Ma Google guh dide Crawl-delay an Noindex di robots.txt de?

Na. Google tenê user-agent, allow, disallow û sitemap dixwîne. Noindex, nofollow û crawl-delay di robots.txt de ji 1ê Îlona 2019 ve li Google bêbandor in. Bing guh dide Crawl-delay, Yandex ji Sibata 2018 ve êdî na, Applebot jî na. Testker rêzên wisa nîşan dike.

Sînorên testkera robots.txt çi ne?

Ew bi nivîsa ku hûn pêve dikin, li gor RFC 9309 û taybetmendiyên belgekirî yên crawleran hesab dike. Kontrola crawlerên AI bi daxwazeke rastîn kontrol dike ka servera we tam vê dosyayê pêşkêş dike an na. Quick-Check ya SpotLens nîşan dide ka rûpelên we di îndeksê de ne û heke ne wisa be, sedem çi ye. Li ser daxwaza we em sedemên ku rûpelan ji Google dûr dihêlin çareser dikin.

Amûr li ser çi disekine

Nirxên rêber û şîretên li jor li ser van 13 xebatên zanistî disekinin. Her yek bi DOI an rûpela weşanger hatiye kontrolkirin (cara dawî di 14ê Mijdara 2026 de): ew heye, nehatî vekişandin û encama wê ji bo vê pirsê îro jî derbasdar e.

  1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), r. 1123–1124

    Encama lêkolînê Pênc lêkolînên li pey hev li ser 7.593 malperan nîşan didin ku robots.txt her ku diçe zêdetir tê bikaranîn. Dosya tiştek mecbûr nake; crawlerên rastgo li gor wê tevdigerin.

    Di amûrê de Piştgiriya hişyariya li ser her encamê dike: robots.txt daxwazek e, ne kilît e.

  2. Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), r. 149–155

    Encama lêkolînê Di 2.925 dosyayên robots.txt de bi komên taybet bi gelemperî pêşî li crawlerên motorên mezin ên lêgerînê hat dayîn û ev pêşîdan bi para bazarê ve pir girêdayî bû.

    Di amûrê de Ji ber vê yekê testker gelek crawleran li kêleka hev dide ber hev û nîşan dide ka kîjan kom ji bo kê derbas dibe: cudahî ji komên binavkirî çêdibin.

  3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), r. 1171–1172

    Encama lêkolînê Lêkolîneke li ser nêzîkî 6 milyon malperan, berevajî lêkolîna biçûktir a 2007, tu pêşîdana berbiçav ji motoreke taybet a lêgerînê re nedît.

    Di amûrê de Di nivîsê de zelal dike ku encamên pêşîdanê li gor nimûneya lêkolînê cuda ne. Ji ber vê yekê testker dadbarî nake; ji bo her crawlerî koma derbasdar nîşan dide.

  4. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), r. 1101–1102

    Encama lêkolînê Piraniya crawlerên bazirganî li gorî rêgezan tevgeriyan, lê gelek ji wan hin rêgezên robots.txt dîsa û dîsa binpê kirin an şaş fam kirin.

    Di amûrê de Ji ber vê yekê testker rêzên ku crawler cuda dixwînin radigihîne û çêker tenê rêzên hêsan ên Allow û Disallow dinivîse.

  5. Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), r. 668–675

    Encama lêkolînê Bi rûpelên kêşanê ku her yek rêgezeke cuda ya robots.txt dihewand, tevgera gelek crawleran hat pîvandin. Asta lihevgirtina wan pir cuda bû; gelek crawlerên bazirganî hin rêgez bi berdewamî binpê dikirin.

    Di amûrê de Piştgiriya sînora „Rêgez ne tevger e" dike: tenê loga serverê nîşan dide ka crawler bi rastî li gor wê tevdigere an na, ne testker.

  6. Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), r. 1771–1779

    Encama lêkolînê Xebat encamên crawling ji bo rêveberên malperan li gor lêçûn, nepenî û barê zêde dabeş dike. Ka crawling maqûl e an na, pêdivî bi biryara rêveberê crawlerê ji bo her rewşê heye.

    Di amûrê de Rave dike çima testker ji bo beşên nehênî parastina bi şîfreyê pêşniyar dike, li şûna rêzeke Disallow.

  7. Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), r. 991–1000

    Encama lêkolînê Berhevdana şopandina lînkan û sitemapan li ser milyaran navnîşanên Google nîşan dide ku her du hev baş temam dikin: sitemap rûpelên bê lînkên hatinê û naveroka nû zûtir dixin ber çavan.

    Di amûrê de Ji ber vê yekê testker rêzên Sitemap cuda lîste dike, kontrol dike ka bi navnîşana tam hatine nivîsandin an na û çêker jî yekê dinivîse.

  8. Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), r. 183–210

    Encama lêkolînê Berhevdana rêbazên gelemperî yên naskirina botan nîşan dide ku tu yek bi giştî bi pêbawerî naxebite. Hin bot bi awayekî xirab tevdigerin an barekî giran li serverê dixin.

    Di amûrê de Piştgiriya sînora ku bot bi teqezî nayên naskirin dike: rêgez tenê li crawlerên ku navê xwe diyar dikin û li gor wê tevdigerin bandor dike.

  9. Kim, T.; Bock, K.; Luo, C. û yên din (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), r. 541–557

    Encama lêkolînê Di ceribandinên kontrolkirî yên bi 130 botên binavkirî di 40 rojan de, bot kêmtir li gor rêgezên hişktir tevdigeriyan û crawlerên lêgerîna AI gelek caran robots.txt qet nedixwestin.

    Di amûrê de Ji ber vê yekê li kêleka her „girtî" agahiya ku girtin daxwazek e heye û li „Her tişt bigirin" di çêkerê de pêşniyara sazkirina parastina rastîn li serverê heye.

  10. Longpre, S.; Mahari, R.; Lee, A. û yên din (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), r. 108042–108087

    Dîtin Kontroleke 14.000 domainên di nav daneyên perwerdehiya AI de, di nav salekê de zêdebûneke mezin a astengkirinan, cûdahiyên mezin di nav peydakêrên AI de û gelek nakokî di nav şertên bikaranînê û robots.txt de dît.

    Di amûrê de Ji ber vê yekê crawlerên AI yek bi yek tên hilbijartin û testker ji bo pirsa „Hînbûn erê an na" ber bi Kontrola crawlerên AI ve rê nîşan dide.

  11. Liu, E.; Luo, E.; Shan, S. û yên din (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), r. 78–99

    Encama lêkolînê Pîvan û anketa 203 hunermendan hewcedariyeke mezin bi robots.txt nîşan didin, lê astengiyên zanyariya pisporî û gihîştina malpera xwe jî hene. Girtinên li reverse-proxy bandortir parastin.

    Di amûrê de Ji ber vê yekê çêkera ji bo rewşên gelemperî bê têgînên pisporiyê heye û şîreta ku ji bo girtineke hişk hoster jî beşdar bikin.

  12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), r. 29–41

    Encama lêkolînê Pîvaneke li ser nêzîkî 4 milyon domainan nîşan dide: robots.txt amûra herî girîng dimîne ji bo dayîna an qedexekirina destûra gihîştinê ji crawleran re. Agentên AI li wir bi taybetî bi rêzên Disallow tên sînorkirin.

    Di amûrê de Rave dike çima testker li ser robots.txt disekine û nasnameyên AI bi heman girîngiyê li kêleka motorên lêgerînê kontrol dike.

  13. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, r. 197–214

    Dîtin Nêzîkî 1,68 ji sedî malperên di derxistineke Common Crawl de crawler bi eşkere red kirin, pir caran ji aliyê hosterên mezin û peydakêrên malperên amade ve, ji astengkirinê heta rûpela kontrolê.

    Di amûrê de Ji ber vê yekê ev sînor heye: robots.txt-ya destûrdar bêfeyde ye heke hoster an parastina ji botan crawlerê berê red bike.

Standard, sazî û agahiyên hilberîneran

Duşem–În, saet 8–17

Encama kopîkirî ji me re bişînin. Em robots.txt û sitemapa malpera we kontrol dikin û sedemên ku rûpelan ji Google dûr dihêlin çareser dikin, li Rodewisch û li seranserê Vogtland.

+49 3744 4399760[email protected]

Duşem–În, saet 8–17 · Straße der Jugend 5, 08228 Rodewisch

Bihêlin robots.txt were kontrolkirin
+49 3744 4399760Duşem–În, saet 8–17
Telefon bikinEm telefonî we dikin

LÎSTEYA PARÇEYAN · RÛPEL 1/1

Ev rûpel ji çi pêk tê

Nirx di dema build de hatine pîvandin. Bi JavaScript geroka we wan niha ji nû ve dipîve.

POSPARÇECUREMEZINAHÎ
01index.htmlBelge≈ 29 kB
02styles.cssStylesheet≈ 20 kB
03scripts.jsSkrîpt≈ 13 kB
04archivo-variable.woff2Font≈ 58 kB
05ibm-plex-mono.woff2Font≈ 30 kB
06favicon.svgGrafîk< 1 kB

Cookieyên reklam an analîzê: tune ne. Bê destûra we rûpel ji serverên biyanî tiştekî bar nake, ji bilî xizmeta me ya gihandinê Cloudflare. Font, skrîpt û grafîk li cem me ne. IT-ya we jî em bi vî awayî çêdikin.

LI DERVEYÎ SAETÊN KAR

Dîsa jî bê dudilî telefon bikin

Bi asayî em Duşem–În, saet 8–17 li ofîsê ne.

Êvaran û dawiya hefteyê jî hejmar tê ser me, û gelek caran kesek bersiv dide. Lê em nikarin soz bidin.

Eger kes bersiv nede, peyameke dengî ya kurt bihêlin: nav, hejmar û mesele çi ye. Em bi lez telefonî we dikin, herî dereng roja kar a din.

Axaftin belaş e. Eger li derveyî saetên kar divê kesek tavilê bixebite, heqê zêde yê di lîsteya bihayan de derbas dibe.

Niha telefon bikin+49 3744 4399760

Hûn dixwazin binivîsin? Bi forma têkiliyê an ji [email protected] re. Em wê roja kar a din dixwînin.

TEŞXÎS · AT-K2

Mesele çi ye?

↵ HILBIJÊRINESC BIGIRINTELEFON: +49 3744 4399760

Mîhengên taybet

Kîjan xizmet dikarin bar bibin?

Ji aliyê teknîkî ve pêwîst

Biryara ku hûn li vir didin, û mîhengên reng û tevgerê. Ev agahî wek tomarên biçûk li ser cîhaza we dimînin û qet ji serverekê re nayên şandin. Ji bo xebata malperê pêwîst in, ji ber vê yekê nayên girtin.