Amûr AT-W48REV. 2026-A
Testkera robots.txt: Googlebot dikare vê rûpelê bixwîne?
Ji bo Googlebot, destûra stendina naveroka rûpelekê bi rêza biryarder di robots.txt de tê diyarkirin. Ew rêgeza herî dirêj a ku li rêyê tê, di koma ku ji bo vî crawlerî derbas dibe de ye. Nivîsa dosyaya xwe pêve bikin û rê an navnîşanên tam binivîsin. Testker ji bo Googlebot, Bingbot, GPTBot û crawlerên din nîşan dide ka destûr heye an na û kîjan rêz biryar dide. Herwiha nîşan dide ka Google kîjan rêgezan cuda ji standardê şîrove dike.
- belaş
- bê qeydkirin
- Nivîs di gerokê de dimîne
01 / TESTKER
robots.txt pêve bikin, rê bi rê kontrol bikin
Testker · robots.txt li gor RFC 9309
Nirxandin li gor RFC 9309 û taybetmendiyên piştrastkirî yên crawlerên cuda tê kirin. Rêveberê crawlerê biryar dide ka crawler li gor wan tevdigere an na.
02 / RÊGEZ
Crawler wiha biryar dide ka rûpelekê bigire an na
Ji Îlona 2022 ve rêbaz wek RFC 9309 hatiye nivîsandin; berê lihevkirineke ji 1994 bû ku crawlerên mezin carinan zêdetir, carinan kêmtir bi hûrgilî li gor wê tevdigeriyan Sun û yên din 2010. Testker li gor RFC, bi vê rêzê hesab dike:
- Dosya. Ew di peldanka sereke de li /robots.txt ye û tenê ji bo tam heman hostê bi protokol û portê re derbas dibe. Dosyaya li ihre-firma.de ji bo www.ihre-firma.de û shop.ihre-firma.de derbas nabe.
- Kom. Crawler li komên bi navê xwe digere. Tîpên mezin û biçûk ferq nakin. Heke çend kom bi heman navî hebin, rêgezên wan tên berhevkirin. „User-agent: *" tenê dema ku tu kom bi navê crawlerê tune be derbas dibe. Heke koma giştî jî tune be, robots.txt tu rêyê nagire.
- Rêgez. Di komê de rêgeza Allow an Disallow a herî dirêj ku li destpêka rêyê tê pêşî digire. Heke rêgez bi heman dirêjahiyê bin, Allow pêşî digire. Rêza xetan encama destûrê naguherîne.
- Karakter. Stêrk li şûna her hejmarek karakteran e, nîşana dolarê ya li dawiyê dawiya navnîşanê nîşan dide. Tîpên mezin û biçûk di rêyê de ferq dikin. Crawler umlautan bi kodkirina ji sedî dide ber hev, ji ber vê yekê „/über" û „/%C3%BCber" yek in.
- Îstîsna. Her kes dikare robots.txt bi xwe bigire û rêzên Sitemap serbixwe ji koman derbas dibin.
Şêweyek li çi tê
| Şêwe | li van tê | li van nayê |
|---|---|---|
| /fisch | /fisch, /fisch.html, /fischkopf/rezept | /Fisch, /katalog/fisch |
| /fisch/ | /fisch/, /fisch/?sorte=lachs | /fisch, /fisch.html |
| /*.php | /index.php, /ordner/seite.php?id=1 | /, /seite.PHP |
| /*.php$ | /seite.php | /seite.php?id=1, /seite.php5 |
| /*?s= | /?s=preise, /blog/?s=test | /blog/?seite=2 |
Berhevdankirin her dem ji destpêka rêyê dest pê dike, ji ber vê yekê /fisch li /katalog/fisch nayê. Heke mebesta we „li her derê" be, stêrkekê li pêş wê binivîsin.
Rêgeza herî dirêj bi ser dikeve
Di mînakê de kom dikanê digire, lê pêşniyaran ji vê derdixe. Ji bo /shop/angebote/herbst testker wiha hesab dike: bi rêza 3 „Allow: /shop/angebote/" di koma „User-agent: *" de destûr heye. Ew bi 15 karakteran ji 2 rêgezên li rêyê tên ya herî dirêj e. Lê ji bo /shop/kasse encam girtî ye, ji ber ku tenê rêgeza kurttir li wê tê.
Crawlerên bazirganî demeke dirêj hin rêgez bi berdewamî binpê dikirin an şaş fêm dikirin Giles û yên din 2010. Ji RFC ve hesab zelal e, lê her crawler li gor wê tevnagere. Ji ber vê yekê testker rêzên ku crawler cuda dixwînin radigihîne.
User-agent: * Disallow: /shop/ Allow: /shop/angebote/
Şaşiya herî gelemperî: kom tu rêzikî mîras nagirin
Heke crawler komeke taybet bistîne, koma giştî êdî ji bo wî derbas nabe, heta bi qismî jî na. Di mînakê de divê /intern/ ji bo hemûyan girtî be, lê Googlebot ji bo reşnivîsan komeke taybet distîne. Encama /intern/preise: Bingbot girtî ye, lê Googlebot destûrdar e. Ji ber vê yekê tiştên ku divê ji bo hemûyan derbas bibin divê di her koma binavkirî de hebin.
Komên binavkirî pir tên bikaranîn. Di lêkolîneke destpêkê ya li ser 2.925 dosyayên robots.txt de motorên mezin ên lêgerînê bi komên taybet bi gelemperî ji yên din zêdetir destûra gihîştinê digirtin Sun û yên din 2007b; lêkolîneke paşîn a li ser nêzîkî 6 milyon malperan tu pêşîdana berbiçav nedît Kolay û yên din 2008. Bi qest an bê qest, testker ji bo her crawlerê hilbijartî koma ku derbas dibe nîşan dide û di dîtina giştî de nîşan dide ka her kom ji bo kê derbas dibe.
User-agent: * Disallow: /intern/ User-agent: Googlebot Disallow: /entwurf/
03 / GOOGLE
Google li ku robots.txt ji standardê cuda dixwîne
Google di nivîsandina RFC de beşdar bûye û bi bingehîn li gor wê tevdigere. Li hin cihan parsera Google nermtir an hişktir e û belgekirin tiştên ku RFC vekirî dihêle diyar dike. Testker li gor RFC hesab dike û her yek ji van cihan wek agahî radigihîne, da ku hûn dosyayekê bidest bixin ku li hemû crawleran heman bandorê bike.
| Xal | RFC 9309 | |
|---|---|---|
| Mezinahiya dosyayê | herî kêm 500 KiB bixwîne | herî zêde 500 KiB, beşa mayî tê paşguhkirin |
| Bîra demkî | herî zêde 24 saet, ji bilî dema ku dosya nayê gihîştin | bi gelemperî heta 24 saetan, heke nûkirin bi ser nekeve dirêjtir |
| Beralîkirin | herî kêm pêncan bişopîne | herî kêm pênc, piştre wek 404 |
| 404 û 4xx yên din | robots.txt tune ye, her tişt destûrdar e | bi heman awayî, ji bilî 429 |
| 5xx an nayê gihîştin | her tişt girtî ye; piştî demeke dirêjtir (mînak 30 roj) wek ku tune be an guhertoya tomarkirî | 12 saet bê crawling, piştre heta 30 rojan guhertoya dawî ya baş (bê wê tu sînorkirin tune), piştre wek bê dosya, heke beşên din ên malperê bên gihîştin |
| Ferman | user-agent, allow, disallow; crawler dikare rêzên din jî şîrove bike, mînak sitemap | tenê user-agent, allow, disallow û sitemap; noindex, nofollow û crawl-delay ji 1ê Îlona 2019 ve bêbandor in |
| Şaşiyên nivîsandinê, du xalên tune | rêz nayê hesibandin | parsera Google dîsa hin şaşiyên wek „Disalow" û rêzên bê du xalan dixwîne |
| Nav bi pêvekê | nav tenê ji tîpan, - û _ pêk tên | „googlebot/1.2" û „googlebot*" wek „googlebot" tên hesibandin |
| Umlaut, karakterên taybet | berî berhevdankirinê bi kodkirina ji sedî kod bikin | bi kodkirina ji sedî dide ber hev |
| Sitemap | crawler dikare şîrove bike | navnîşana tam bi protokol û hostê, dikare li hosteke din be |
Çavkanî: RFC 9309, Google li ser robots.txt (rewşa 23ê Cotmeha 2026), Bloga Google ya 2ê Tîrmeha 2019, Parsera Google. Di 14ê Mijdara 2026 de hatiye kontrolkirin.
Motorên din ên lêgerînê taybetmendiyên xwe hene. Bing guh dide Crawl-delay û heke koma taybet bingbot tune be koma msnbot dixwîne; Yandex ji 22ê Sibata 2018 ve êdî Crawl-delay nahesibîne û bi „User-agent: Yandex" komeke ji bo hemû robotên xwe heye. Crawlerê Apple heke koma taybet tune be li gor koma Googlebot tevdigere; crawlerên reklamê yên Google koma giştî bi tevahî paşguh dikin. Tabloya li jêr dibêje ka testker ji van çi hesab dike.
04 / CRAWLER
Kîjan nav divê di robots.txt de bin
Di rêza User-agent de divê tokena berhemê hebe, yanî navê kurt ê ku rêveber ji bo robots.txt diyar dike: „Googlebot", ne nasnameya tevahî ya ku di loga serverê de ye. Lîsteya testkerê tenê navên ku rêveberê wan belge kiriye dihewîne û rêbazên taybet tenê li cihên ku ew rave dike hesab dike.
| Navê di robots.txt de | Pêşkêşker | Ji bo çi | Taybetmendî |
|---|---|---|---|
| Googlebot | Lêgerîna Google, tevî kurteyên AI | Heke koma taybet tune be, „*" derbas dibe. | |
| Googlebot-Image | Wêneyên Google | Heke koma taybet tune be, li gor koma Googlebot tevdigere. | |
| bingbot | Microsoft | Bing û Copilot | Heke koma taybet tune be, li gor komeke msnbot tevdigere, tenê piştre „*". Guh dide Crawl-delay. |
| Applebot | Apple | Siri, Spotlight, Safari | Heke koma taybet tune be, li gor koma Googlebot tevdigere. |
| DuckDuckBot | DuckDuckGo | îndeksa xwe ya DuckDuckGo | Heke koma taybet tune be, „*" derbas dibe. |
| YandexBot | Yandex | Lêgerîna Yandex | Heke koma taybet tune be, li gor koma Yandex tevdigere. Crawl-delay ji Sibata 2018 ve êdî bandor nake. |
| Storebot-Google | Google Shopping | Google tu koma cîgir belge nake; testker li gor RFC 9309 bi „*" hesab dike. | |
| AdsBot-Google | Rûpelên armancê yên Google Ads kontrol dike | Koma „*" paşguh dike. Tenê bi komeke taybet tê girtin. | |
| Mediapartners-Google | AdSense û Ad Manager | Koma „*" paşguh dike. Tenê bi komeke taybet tê girtin. |
24 nasnameyên pêşkêşkerên AI jî lê zêde dibin, di nav wan de GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User. Ji 2023 ve malper pêşkêşkerên AI her ku diçe zêdetir û bi awayên pir cuda digirin; di vê de mercên bikaranînê û robots.txt gelek caran li hev nakin Longpre û yên din 2024. Pîvaneke li ser nêzîkî 4 milyon domainan nîşan dide ku robots.txt ji bo vê amûra herî girîng dimîne û agentên AI li wir bi gelemperî bi Disallow tên sînorkirin Hoffmann û yên din 2026. Di Kontrola crawlerên AI de hatiye nivîsandin ka kîjan crawlerê AI ji bo çi dixwîne; ew herwiha robots.txt-ya we ya rastîn jî digire.
05 / ÇÊKER
Ji bo rewşên gelemperî robots.txt binivîsin
Kesên ku hewcedariya wan bi robots.txt heye, kêm caran dixwazin têgînên pisporiyê hîn bibin. Di anketa 203 hunermendan de daxwaza dosyayê mezin bû, lê zanyariya li ser wê û gihîştina malpera xwe gelek caran tune bû Liu û yên din 2025. Ji ber vê yekê çêker tenê dipirse ka divê crawler çi bixwînin û rêzên hêsan ên Allow û Disallow bê hîleyan dinivîse. Bi „Di testkerê de kontrol bikin" nivîs diçe testkera li jor.
Çêker · robots.txt ji bo rewşên gelemperî
robots.txt tenê crawlingê rêk dixe. Ew daneyan naparêze, ji ber ku her kes dikare wê bixwîne, û tu rûpelê ji îndeksa Google dernaxe: heke rûpelên din lînka navnîşaneke astengkirî bidin, ew navnîşan dikare bê ravekirin di encamên lêgerînê de xuya bibe.
Çêker di gerokê de dixebite û tiştek naşîne. Dosya divê bi navê robots.txt di peldanka sereke de be, ji bo her subdomainê dosyayeke taybet.
Rêza Sitemap hema her dem bikêr tê. Şopandina lînkan û sitemap hev temam dikin: di milyaran navnîşanên Google de rûpelên bê lînkên hatinê û naveroka nû bi sitemapê zûtir hatin dîtin Schonfeld û Shivakumar 2009. Rêz hewcedarê navnîşana tam e û ji bo hemû koman derbas dibe.
06 / SÎNOR
Tiştên ku robots.txt nikare bike
- Rûpelê ji îndeksê dernaxe. Li gorî Google, robots.txt ne amûrek e ku rûpelekê ji Google dûr bihêle. Navnîşaneke astengkirî ku rûpelên din lînka wê didin dikare bê ravekirin di encamên lêgerînê de xuya bibe. Ew bi noindex ji îndeksê derdikeve, û Google tenê dema ku destûra xwendina rûpelê hebe wê dibîne.
- Ew tiştek naparêze. Dosya ji her kesî re vekirî ye û rêyên girtî lîste dike; RFC bi eşkere dibêje ku ew cihê parastina gihîştinê nagire. Ka crawler li gor wê tevdigere an na bi nirxandina rêveberê wî ve girêdayî ye Thelwall û Stuart 2006. Tiştên nehênî divê li pişt şîfreyekê bin.
- Ew daxwazek e. Lêkolînên mezin ên pêşîn jî dosya wek rêgezek ku crawlerên rastgo li gor wê tevdigerin rave kirin, ne wek mecbûrkirin Sun û yên din 2007a. Di ceribandinên bi 130 botên binavkirî di 40 rojan de, bot kêmtir li gor rêgezên hişktir tevdigeriyan û crawlerên lêgerîna AI gelek caran dosya qet nedixwestin Kim û yên din 2025.
- Ew tenê li ser navan bandor dike. Bot bi teqezî nayên naskirin; tu rêbazên gelemperî vê yekê bi giştî bi pêbawerî nakin Doran û Gokhale 2011. Yê ku bi navê kesekî din tê, li tu rêgezê nayê.
- Girtinên hişk li serverê ne. Girtinên li reverse-proxy li dijî crawlerên AI ji robots.txt bandortir parastin Liu û yên din 2025. Ji aliyê din ve hin hoster û pergalên çêkirina malperan crawleran berî ku robots.txt were hesibandin red dikin: di kopiyeke Common Crawl de ev nêzîkî 1,68 ji sedî malperan bûn Ansar û yên din 2025. Wê demê rêza Allow ya herî baş jî bêfeyde ye.
- Testker bi nivîsa we hesab dike. Kontrola crawlerên AI bi daxwazeke rastîn kontrol dike ka servera we tam vê dosyayê, bi statusa 200 û wek nivîs pêşkêş dike an na.
Testker bersiva pirseke pêşîn dide. Quick-Check ya SpotLens nîşan dide ka rûpelên we bi rastî li Google ne û heke ne wisa be sedem çi ye. Gavên pêşîn ji bo ku hûn bi xwe kontrol bikin di rêbera Malper li Google nayê dîtin de ne; çawa em malperan li Rodewisch û Vogtland dikin ku bên dîtin, di bin SEO de ye. Amûrên din ji bo dîtinê di bin SEO û xuyabûn de ne.
07 / JI BO ALÎKARÊN AI
Vê amûrê ji alîkarekî AI bi kar bînin
Alîkarên wek Claude an ChatGPT, ku Model Context Protocol (MCP) bi kar tînin, dikarin hesabê vê rûpelê rasterast bang bikin, li şûna ku wî ji nû ve çêkin. Server giştî ye, qeydkirinê naxwaze û tiştekî tomar nake. Bersiv her tim lînka vê rûpelê, dîroka daneyan û sînorên encamê dihewîne.
- Xala girêdanê (endpoint)
https://aureum-tech.com/mcp- Amûr
werkzeug_robots_txt_tester- Transport
- Streamable HTTP, tenê xwendin
| Nav | Mecbûrî | Wate |
|---|---|---|
robots_txt | erê | Nivîsa tevahî ya robots.txt, wek ku li /robots.txt heye. |
pfade | na | Heta 50 rê an URL-yên tam, mînak „/kontakt" an „https://www.firma.de/blog?seite=2". Ji URL-yan rê û query tên hesibandin. Bê diyarkirin „/". |
crawler | na | Tokenên berhemê yên crawleran, mînak Googlebot, bingbot, GPTBot; „*" ji bo her crawlerê bê koma taybet. Yên naskirî: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. Navên din li gor RFC 9309 tên kontrolkirin. Bê diyarkirin: Googlebot, bingbot, GPTBot, ClaudeBot, *. |
Pirsên ku divê alîkarek ji bo wan vê amûrê bang bike
- „Ma Googlebot bi vê robots.txt dikare /wp-admin/admin-ajax.php bigire?"
- „Çima girtina min a di bin „User-agent: *" de ji bo GPTBot derbas nabe?"
- „Kîjan rêza robots.txt-ya min https://www.firma.de/shop?sort=preis ji bo Bingbot digire?"
- „Ma „Disalow: /intern/" di robots.txt-ya min de şaşî ye û Google dîsa wê rêzê dixwîne?"
Girêdan çawa dixebite û MCP di şîrketa we de çi dikare bike, li ser rûpela Entegrasyonên MCP heye.
08 / PIRSÊN PIR TÊN KIRIN
Pirsên pir tên kirin li ser robots.txt
Ma „Disallow" rûpelekê ji îndeksa Google derdixe?
Na. Disallow tenê stendina naveroka rûpelê ji crawler re qedexe dike. Heke rûpelên din lînka wê navnîşanê bidin, Google dîsa dikare wê navnîşanê bê ravekirin di encamên lêgerînê de nîşan bide. Ji bo rakirina rûpelê bi noindex, divê Google bikaribe rûpelê bixwîne û noindex di Meta-Tag an X-Robots-Tag de bibîne. Vebijarkên din bersiva 404 an 410 an parastina rûpelê bi şîfreyê ne. Heke robots.txt rêya rûpelê bigire, Google nikare noindex-a wê bixwîne.
Çima girtina min a di bin „User-agent: *" de ji bo Googlebot derbas nabe?
Ji ber ku ji bo Googlebot komeke taybet heye. Crawler rêgezên koma ku bi navê wî ye bi kar tîne. Koma giştî „*" tenê dema ku tu kom bi navê wî tune be derbas dibe. Heke dixwazin qedexeyek ji bo hemû crawleran derbas bibe, wê hem di koma giştî de û hem di her koma taybet de binivîsin. Testker di her encamê de nîşan dide ka kîjan kom derbas bûye.
Heke Allow û Disallow li heman rêyê bên, kîjan bi ser dikeve?
Rêgeza dirêjtir, li gor hejmara karakteran, pêşî digire. Heke dirêjahî wekhev be, Allow pêşî digire. Rêza xetan di dosyayê de encama destûrê naguherîne. Bi „Disallow: /shop/" û „Allow: /shop/angebote/" crawler dikare naveroka /shop/angebote/ bistîne, lê nikare naveroka beşên din ên dikanê bistîne.
robots.txt-ya guhertî çiqas zû li Google bandor dike?
Google dosyayê bi gelemperî heta 24 saetan tomar dike, û heke nûkirin bi ser nekeve, dirêjtir jî. Heta wê demê rêgezên kevn derbas dibin. Ji ber vê yekê guhertinê pêşî li vir kontrol bikin û tenê piştre bar bikin.
Ma ez dikarim bi robots.txt beşên nehênî biparêzim?
Na. Dosya ji her kesî re vekirî ye, her kes dikare wê veke û ew rêyên girtî jî eşkere dike. Standard bi xwe jî dibêje: ew cihê parastina gihîştinê nagire. Tiştên nehênî divê li pişt têketina hesabê an parastina bi şîfreyê ya li serverê bin.
Ma Google guh dide Crawl-delay an Noindex di robots.txt de?
Na. Google tenê user-agent, allow, disallow û sitemap dixwîne. Noindex, nofollow û crawl-delay di robots.txt de ji 1ê Îlona 2019 ve li Google bêbandor in. Bing guh dide Crawl-delay, Yandex ji Sibata 2018 ve êdî na, Applebot jî na. Testker rêzên wisa nîşan dike.
Sînorên testkera robots.txt çi ne?
Ew bi nivîsa ku hûn pêve dikin, li gor RFC 9309 û taybetmendiyên belgekirî yên crawleran hesab dike. Kontrola crawlerên AI bi daxwazeke rastîn kontrol dike ka servera we tam vê dosyayê pêşkêş dike an na. Quick-Check ya SpotLens nîşan dide ka rûpelên we di îndeksê de ne û heke ne wisa be, sedem çi ye. Li ser daxwaza we em sedemên ku rûpelan ji Google dûr dihêlin çareser dikin.
09 / LÊKOLÎN Û ÇAVKANÎ
Amûr li ser çi disekine
Nirxên rêber û şîretên li jor li ser van 13 xebatên zanistî disekinin. Her yek bi DOI an rûpela weşanger hatiye kontrolkirin (cara dawî di 14ê Mijdara 2026 de): ew heye, nehatî vekişandin û encama wê ji bo vê pirsê îro jî derbasdar e.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), r. 1123–1124
Encama lêkolînê Pênc lêkolînên li pey hev li ser 7.593 malperan nîşan didin ku robots.txt her ku diçe zêdetir tê bikaranîn. Dosya tiştek mecbûr nake; crawlerên rastgo li gor wê tevdigerin.
Di amûrê de Piştgiriya hişyariya li ser her encamê dike: robots.txt daxwazek e, ne kilît e.
doi.org/10.1145/1242572.1242726 · Gotara konferansê
Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), r. 149–155
Encama lêkolînê Di 2.925 dosyayên robots.txt de bi komên taybet bi gelemperî pêşî li crawlerên motorên mezin ên lêgerînê hat dayîn û ev pêşîdan bi para bazarê ve pir girêdayî bû.
Di amûrê de Ji ber vê yekê testker gelek crawleran li kêleka hev dide ber hev û nîşan dide ka kîjan kom ji bo kê derbas dibe: cudahî ji komên binavkirî çêdibin.
doi.org/10.1109/WI.2007.98 · Gotara konferansê
Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), r. 1171–1172
Encama lêkolînê Lêkolîneke li ser nêzîkî 6 milyon malperan, berevajî lêkolîna biçûktir a 2007, tu pêşîdana berbiçav ji motoreke taybet a lêgerînê re nedît.
Di amûrê de Di nivîsê de zelal dike ku encamên pêşîdanê li gor nimûneya lêkolînê cuda ne. Ji ber vê yekê testker dadbarî nake; ji bo her crawlerî koma derbasdar nîşan dide.
doi.org/10.1145/1367497.1367711 · Gotara konferansê
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), r. 1101–1102
Encama lêkolînê Piraniya crawlerên bazirganî li gorî rêgezan tevgeriyan, lê gelek ji wan hin rêgezên robots.txt dîsa û dîsa binpê kirin an şaş fam kirin.
Di amûrê de Ji ber vê yekê testker rêzên ku crawler cuda dixwînin radigihîne û çêker tenê rêzên hêsan ên Allow û Disallow dinivîse.
doi.org/10.1145/1772690.1772824 · Gotara konferansê
Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), r. 668–675
Encama lêkolînê Bi rûpelên kêşanê ku her yek rêgezeke cuda ya robots.txt dihewand, tevgera gelek crawleran hat pîvandin. Asta lihevgirtina wan pir cuda bû; gelek crawlerên bazirganî hin rêgez bi berdewamî binpê dikirin.
Di amûrê de Piştgiriya sînora „Rêgez ne tevger e" dike: tenê loga serverê nîşan dide ka crawler bi rastî li gor wê tevdigere an na, ne testker.
doi.org/10.1109/WI-IAT.2010.316 · Gotara konferansê
Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), r. 1771–1779
Encama lêkolînê Xebat encamên crawling ji bo rêveberên malperan li gor lêçûn, nepenî û barê zêde dabeş dike. Ka crawling maqûl e an na, pêdivî bi biryara rêveberê crawlerê ji bo her rewşê heye.
Di amûrê de Rave dike çima testker ji bo beşên nehênî parastina bi şîfreyê pêşniyar dike, li şûna rêzeke Disallow.
doi.org/10.1002/asi.20388 · Kovara zanistî
Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), r. 991–1000
Encama lêkolînê Berhevdana şopandina lînkan û sitemapan li ser milyaran navnîşanên Google nîşan dide ku her du hev baş temam dikin: sitemap rûpelên bê lînkên hatinê û naveroka nû zûtir dixin ber çavan.
Di amûrê de Ji ber vê yekê testker rêzên Sitemap cuda lîste dike, kontrol dike ka bi navnîşana tam hatine nivîsandin an na û çêker jî yekê dinivîse.
doi.org/10.1145/1526709.1526842 · Gotara konferansê
Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), r. 183–210
Encama lêkolînê Berhevdana rêbazên gelemperî yên naskirina botan nîşan dide ku tu yek bi giştî bi pêbawerî naxebite. Hin bot bi awayekî xirab tevdigerin an barekî giran li serverê dixin.
Di amûrê de Piştgiriya sînora ku bot bi teqezî nayên naskirin dike: rêgez tenê li crawlerên ku navê xwe diyar dikin û li gor wê tevdigerin bandor dike.
doi.org/10.1007/s10618-010-0180-z · Xebata berhevkirinê (review)
Kim, T.; Bock, K.; Luo, C. û yên din (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), r. 541–557
Encama lêkolînê Di ceribandinên kontrolkirî yên bi 130 botên binavkirî di 40 rojan de, bot kêmtir li gor rêgezên hişktir tevdigeriyan û crawlerên lêgerîna AI gelek caran robots.txt qet nedixwestin.
Di amûrê de Ji ber vê yekê li kêleka her „girtî" agahiya ku girtin daxwazek e heye û li „Her tişt bigirin" di çêkerê de pêşniyara sazkirina parastina rastîn li serverê heye.
doi.org/10.1145/3730567.3764471 · Gotara konferansê
Longpre, S.; Mahari, R.; Lee, A. û yên din (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), r. 108042–108087
Dîtin Kontroleke 14.000 domainên di nav daneyên perwerdehiya AI de, di nav salekê de zêdebûneke mezin a astengkirinan, cûdahiyên mezin di nav peydakêrên AI de û gelek nakokî di nav şertên bikaranînê û robots.txt de dît.
Di amûrê de Ji ber vê yekê crawlerên AI yek bi yek tên hilbijartin û testker ji bo pirsa „Hînbûn erê an na" ber bi Kontrola crawlerên AI ve rê nîşan dide.
doi.org/10.52202/079017-3431 · Gotara konferansê
Liu, E.; Luo, E.; Shan, S. û yên din (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), r. 78–99
Encama lêkolînê Pîvan û anketa 203 hunermendan hewcedariyeke mezin bi robots.txt nîşan didin, lê astengiyên zanyariya pisporî û gihîştina malpera xwe jî hene. Girtinên li reverse-proxy bandortir parastin.
Di amûrê de Ji ber vê yekê çêkera ji bo rewşên gelemperî bê têgînên pisporiyê heye û şîreta ku ji bo girtineke hişk hoster jî beşdar bikin.
doi.org/10.1145/3730567.3732913 · Gotara konferansê
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), r. 29–41
Encama lêkolînê Pîvaneke li ser nêzîkî 4 milyon domainan nîşan dide: robots.txt amûra herî girîng dimîne ji bo dayîna an qedexekirina destûra gihîştinê ji crawleran re. Agentên AI li wir bi taybetî bi rêzên Disallow tên sînorkirin.
Di amûrê de Rave dike çima testker li ser robots.txt disekine û nasnameyên AI bi heman girîngiyê li kêleka motorên lêgerînê kontrol dike.
doi.org/10.1145/3831956.3831960 · Kovara zanistî
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, r. 197–214
Dîtin Nêzîkî 1,68 ji sedî malperên di derxistineke Common Crawl de crawler bi eşkere red kirin, pir caran ji aliyê hosterên mezin û peydakêrên malperên amade ve, ji astengkirinê heta rûpela kontrolê.
Di amûrê de Ji ber vê yekê ev sînor heye: robots.txt-ya destûrdar bêfeyde ye heke hoster an parastina ji botan crawlerê berê red bike.
doi.org/10.1007/978-3-031-85960-1_9 · Gotara konferansê
Standard, sazî û agahiyên hilberîneran
- RFC 9309: Protokola Derxistina Robotan · IETF, Îlona 2022
- How Google interprets the robots.txt specification · Google Search Central, rewşa 23ê Cotmeha 2026
- Introduction to robots.txt · Google Search Central
- Block Search indexing with noindex · Google Search Central
- A note on unsupported rules in robots.txt · Google Search Central Blog, 2ê Tîrmeha 2019
- Google common crawlers · Google Search Central
- Google special-case crawlers (AdsBot, Mediapartners) · Google Search Central
- google/robotstxt: parsera robots.txt ya Google (şaşiyên nivîsandinê, Googlebot-Image) · Google, GitHub
- To crawl or not to crawl, that is BingBot’s question · Bing Webmaster Blog, 3ê Gulana 2012
- Derbarê Applebot de · Apple, rewş 4ê Îlona 2026
- DuckDuckBot · DuckDuckGo
- The User-agent directive · Yandex Webmaster
- The Crawl-delay directive · Yandex Webmaster
- WordPress: do_robots() di wp-includes/functions.php de · WordPress, GitHub
10 / AMÛRÊN DIN
Hê pirsek we heye?
- AT-W42 · Şîrket
Pêşdîtina snippet
Rûpela we li Google çawa xuya dike? Sernav û danasîn bi firehiya pixelan, ji bo desktop û telefonê. - AT-W43 · Şîrket
Çêkera schema
Daneyên birêkûpêk ji bo şîrketa we: LocalBusiness, saetên vebûnê û FAQ wek JSON-LD ji bo zeliqandinê. - AT-W44 · Şîrket
Kontrola profîla şîrketê
Profîla we ya şîrketê li Google temam e? Çi kêm e, li gorî bandorê rêzkirî. - AT-W45 · Şîrket
Kontrola NAP
Nav, navnîşan û hejmara telefonê li her derê wek hev in? Tomarên ji rêberên şîrketan bidin ber hev. - AT-W46 · Şîrket
Rêzkera keywordan
Kîjan peyvên lêgerînê bi hev re ne, û lêgervan çi dixwaze? Lîste li gorî mijar û armanca lêgerînê rêzkirî. - AT-W47 · Mal û şîrket
Kontrola xwendinbariyê
Nivîsa we çiqas tê fêmkirin? Îndeksa xwendinbariyê ji bo almanî, hevokên dirêj û peyvên zor tên nîşankirin.
Encama kopîkirî ji me re bişînin. Em robots.txt û sitemapa malpera we kontrol dikin û sedemên ku rûpelan ji Google dûr dihêlin çareser dikin, li Rodewisch û li seranserê Vogtland.
+49 3744 4399760[email protected]Duşem–În, saet 8–17 · Straße der Jugend 5, 08228 Rodewisch