وسیله AT-W48نسخه 2026-A

د robots.txt ازموینه: Googlebot دا پاڼه لوستلای شي؟

دا چې Googlebot د یوې پاڼې د راوړلو اجازه لري که نه، په robots.txt کې یې یوه کرښه ټاکي: د دې کرالر لپاره د پلي کېدونکې ډلې تر ټولو اوږده سمون لرونکې قاعده. خپل فایل ور دننه کړئ او لارې یا بشپړې پتې ولیکئ. ازموینه د Googlebot، Bingbot، GPTBot او نورو کرالرونو لپاره ښيي چې یوه لاره اجازه لري که بنده ده او کومه کرښه دا پرېکړه کوي. هغه څه هم درته ښيي چې Google یې له معیار څخه په توپیر لولي.

  • وړیا
  • له نوم لیکنې پرته
  • متن په براوزر کې پاتې کېږي

robots.txt ور دننه کړئ، هره لاره جلا وګورئ

ازموینه · robots.txt د RFC 9309 له مخې

ارزونه د RFC 9309 او د هر کرالر د ثابتو ځانګړتیاوو له مخې کېږي. دا چې کرالر یې پیروي کوي که نه، د هغه چلوونکی یې ټاکي.

په براوزر کې ihre-firma.de/robots.txt پرانیزئ او ټول متن کاپي کړئ. فایل د AI کرالر په چېک کې راوړلای شئ.

تر 50 پورې. له بشپړو پتو څخه لار او پارامترونه حسابېږي، لکه /shop?sort=preis.‎

د کومو کرالرونو لپاره؟
د لټون انجنونه · 6
د Google نور کرالرونه · 3
AI کرالرونه · 24

هغه نوم ولیکئ چې چلوونکی یې د robots.txt لپاره ښيي (د محصول ټوکن)، نه د براوزر ټوله پېژندپاڼه.

ازموینه په براوزر کې محاسبه کوي. متن او پتې ستاسو له وسیلې نه وځي.

پایله

خپل robots.txt ور دننه کړئ او لارې ولیکئ. د ازمویلو لپاره یوه بېلګه شته.

کرالر داسې پرېکړه کوي چې یوه پاڼه راوړي که نه

د سپتمبر 2022 راهیسې دا کړنلاره په RFC 9309 کې ټاکل شوې ده. تر دې مخکې د 1994 یوه موافقه وه چې لویو کرالرونو کله زیاته او کله کمه دقیقه پیروي ترې کوله Sun او نور 2010. ازموینه د RFC له مخې په دې ترتیب محاسبه کوي:

  1. فایل. په اصلي فولډر کې پر /robots.txt پروت وي او یوازې د هماغه کوربه، پروتوکول او پورټ لپاره پلي کېږي. پر ihre-firma.de فایل نه پر www.ihre-firma.de پلي کېږي او نه پر shop.ihre-firma.de.‎
  2. ډله. کرالر د خپل نوم ډله لټوي؛ لوی او واړه توري توپیر نه لري. د یوه نوم څو ډلې سره یوځای کېږي. که خپله ډله نه وي، «User-agent: *» پلي کېږي، او که دا هم نه وي، هر څه اجازه لري.
  3. قاعده. د ډلې تر ټولو اوږده Allow یا Disallow قاعده چې د لارې له پیل سره سمون ولري، لومړیتوب لري. که دواړه برابر اوږدوالی ولري، Allow لومړیتوب لري. د کرښو ترتیب د اجازې یا بندیز پایله نه بدلوي.
  4. نښې. ستوری د هر شمېر نښو لپاره دی، او په پای کې د ډالر نښه د پتې پای ښيي. په لار کې لوی او واړه توري توپیر لري. کرالر اوملاوټ توري په سلنه کوډ شوې بڼه پرتله کوي؛ نو «/über» او «/%C3%BCber» یو شان دي.
  5. استثنا. پخپله robots.txt هر څوک راوړلای شي، او د Sitemap کرښې له ډلو خپلواکې پلي کېږي.
کومه ډله پلي کېږي؟کرالر/robots.txtخپلهګروپکه نه، ډله*که نه، هر څهاجازه لريکومه قاعده پلي کېږي؟لارسمون لرونکي قواعدتر ټولو اوږدهلومړیتوب لري، برابراوږدوالی: ALLOWاجازه لري یاقفلکومه ډله پلي کېږي؟کرالر/robots.txtخپله ډلهکه نه، ډله *که نه، هر څه اجازه لريکومه قاعده پلي کېږي؟لارسمون لرونکي قواعدتر ټولو اوږده لومړیتوب لري، برابراوږدوالی: ALLOWاجازه لري یا بنده ده
انځور 1 · کرالر ROBOTS.TXT څنګه لوليطلايي = ستاسو فایل · دوه پوښتنې چې یو په بل پسې مطرح کېږي

یو الګو له څه سره سمون خوري

بېلګې، د ازموینې په هماغې دندې محاسبه شوې
الګوله دې سره سمون لريله دې سره سمون نه لري
/fisch/fisch, /fisch.html, /fischkopf/rezept/Fisch, /katalog/fisch
/fisch//fisch/, /fisch/?sorte=lachs/fisch, /fisch.html
/*.php/index.php, /ordner/seite.php?id=1/, /seite.PHP
/*.php$/seite.php/seite.php?id=1, /seite.php5
/*?s=/?s=preise, /blog/?s=test/blog/?seite=2

پرتله تل د لارې له پیل څخه کېږي، نو /fisch له /katalog/fisch سره سمون نه خوري. که موخه مو «هر ځای» وي، مخکې یې ستوری ولیکئ.

تر ټولو اوږده قاعده لومړیتوب لري

په بېلګه کې ډله پلورنځی بندوي، خو د وړاندیزونو برخه ترې مستثنا کوي. د /shop/angebote/herbst لپاره ازموینه داسې محاسبه کوي: د «User-agent: *» په ډله کې د 3 کرښې «Allow: /shop/angebote/» له مخې اجازه لري. دا په 15 تورو سره له 2 سمون لرونکو قواعدو تر ټولو اوږده ده. خو د /shop/kasse پایله بنده ده، ځکه یوازې لنډه قاعده ورسره سمون لري.

سوداګریزو کرالرونو د اوږدې مودې لپاره ځینې قواعد بیا بیا ماتول یا ناسم درک کول Giles او نور 2010. له RFC راهیسې محاسبه روښانه ده، خو هر کرالر یې پیروي نه کوي. ځکه ازموینه هغه کرښې ښيي چې کرالرونه یې په بېلابېلو ډولونو لولي.

User-agent: *
Disallow: /shop/
Allow: /shop/angebote/

تر ټولو عامه تېروتنه: ډلې هېڅ قواعد په میراث نه اخلي

که کرالر خپله ډله ولري، عمومي ډله بیا پرې نه پلي کېږي، حتی په جزوي ډول هم نه. په بېلګه کې باید /intern/ د ټولو لپاره بند وي، خو Googlebot د مسودو لپاره خپله ډله لري. د /intern/preise پایله: Bingbot بند دی، خو Googlebot اجازه لري. نو څه چې باید پر ټولو پلي شي، په هره نوم لرونکې ډله کې یې ولیکئ.

نوم لرونکې ډلې عامې دي. په یوې لومړنۍ څېړنه کې د 2.925 robots.txt فایلونو له ډلې لویو لټون انجنونو ته عموماً د خپلو ډلو له لارې تر نورو زیات لاسرسی ورکړل شوی و Sun او نور 2007b؛ په شاوخوا 6 میلیونه وېب سایټونو یوې وروستۍ څېړنې د پام وړ ترجیح ونه موندله Kolay او نور 2008. که قصدي وي او که نه، ازموینه د هر ټاکل شوي کرالر لپاره پلي کېدونکې ډله ښيي، او په ټولیزه کتنه کې ښيي چې هره ډله د چا لپاره ده.

User-agent: *
Disallow: /intern/

User-agent: Googlebot
Disallow: /entwurf/

Google چېرته robots.txt له معیار څخه په توپیر لولي

Google د RFC په لیکلو کې برخه اخیستې او په بنسټیز ډول یې پیروي کوي. په ځینو ځایونو کې د Google پارسر نرم یا سخت چلند کوي، او اسناد یې هغه څه ټاکي چې RFC پرانیستي پرېښي دي. ازموینه د RFC له مخې محاسبه کوي او هر داسې ځای د یادونې په توګه ښيي، څو داسې فایل ولرئ چې پر ټولو کرالرونو یو شان اغېز وکړي.

د RFC 9309 او Google پرتله، د Google اسناد د 23 اکتوبر 2026 له مخې
ټکیRFC 9309Google
د فایل اندازهلږ تر لږه 500 KiB لوستلتر ډېره 500 KiB، پاتې برخه له پامه غورځول کېږي
لنډمهاله زېرمهتر ډېره 24 ساعته، مګر که فایل ته لاسرسی نه کېږيعموماً تر 24 ساعتونو، که تازه کول ناکام شي تر دې اوږده موده
بلې پتې ته لېږدلږ تر لږه پنځه لېږدونه تعقیبويلږ تر لږه پنځه؛ وروسته د 404 په څېر
404 او نور 4xxrobots.txt نشته، د هر څه اجازه شتههمداسې، له 429 پرته
5xx یا لاسرسی ورته نشتههر څه بند؛ له اوږدې مودې وروسته (د بېلګې په توګه 30 ورځې) د ورک فایل په څېر یا خوندي شوې نسخه12 ساعته کرال نه کېږي، بیا تر 30 ورځو وروستۍ سمه نسخه کارېږي (له هغې پرته هېڅ محدودیت نشته)، وروسته د فایل د نشتوالي په څېر، که د وېب سایټ نورو برخو ته لاسرسی کېږي
لارښوونېuser-agent، allow، disallow؛ کرالر نورې کرښې هم تفسیرولای شي، لکه sitemapیوازې user-agent، allow، disallow او sitemap؛ noindex، nofollow او crawl-delay د 1 سپتمبر 2019 راهیسې بې‌اغېزې دي
ټایپي تېروتنې، نشتې دوه ټکيکرښه نه حسابېږيد Google پارسر بیا هم ځینې ټایپي تېروتنې لکه «Disalow» او بې له دوو ټکو کرښې لولي
نوم له اضافي برخې سرهنومونه یوازې له تورو، - او _ څخه جوړېږي«googlebot/1.2» او «googlebot*» د «googlebot» په توګه حسابېږي
اوملاوټ او ځانګړې نښېله پرتلې مخکې په سلنه کوډ کولپه سلنه کوډ شوې بڼه پرتله کوي
Sitemapکرالر یې تفسیرولای شيبشپړه پته له پروتوکول او کوربه سره، پر بل کوربه هم کېدای شي

سرچینې: RFC 9309، د robots.txt په اړه Google (د 23 اکتوبر 2026 حالت)، د Google بلاګ د 2 جولای 2019، د Google پارسر. د 14 نومبر 2026 پر ورځ کتل شوي.

نور لټون انجنونه خپلې ځانګړتیاوې لري. Bing د Crawl-delay پیروي کوي او که خپله bingbot ډله ونه لري، msnbot ډله لولي. Yandex د 22 فبروري 2018 راهیسې Crawl-delay نه ارزوي او د «User-agent: Yandex» په نوم د خپلو ټولو روباټونو لپاره ډله لري. د Apple کرالر د خپلې ډلې په نشتوالي کې د Googlebot ډله تعقیبوي؛ د Google اعلاني کرالرونه عمومي ډله بیخي له پامه غورځوي. لاندې جدول ښيي چې ازموینه له دې څخه څه محاسبه کوي.

په robots.txt کې کوم نومونه ولیکل شي

په User-agent کرښه کې د محصول ټوکن راځي، یعنې هغه لنډ نوم چې چلوونکی یې د robots.txt لپاره ښيي: «Googlebot»، نه هغه بشپړه پېژندپاڼه چې د سرور په لاګ کې وي. د ازموینې په لېست کې یوازې هغه نومونه دي چې چلوونکي یې مستند کړي، او ځانګړې کړنلارې یوازې هلته محاسبه کوي چې چلوونکی یې تشریح کړي.

د لټون انجنونه او د Google کرالرونه، د 14 نومبر 2026 پر ورځ د چلوونکو له اسنادو سره کتل شوي
په robots.txt کې نومچلوونکید څه لپارهځانګړتیا
GooglebotGoogleد Google لټون، د AI لنډیزونه همد خپلې ډلې په نشتوالي کې «*» پلي کېږي.
Googlebot-ImageGoogleد Google انځورونهد خپلې ډلې په نشتوالي کې د Googlebot ډله تعقیبوي.
bingbotMicrosoftBing او Copilotد خپلې ډلې په نشتوالي کې msnbot ډله تعقیبوي، یوازې وروسته «*». د Crawl-delay پیروي کوي.
ApplebotAppleSiri, Spotlight, Safariد خپلې ډلې په نشتوالي کې د Googlebot ډله تعقیبوي.
DuckDuckBotDuckDuckGoد DuckDuckGo خپل انډېکسد خپلې ډلې په نشتوالي کې «*» پلي کېږي.
YandexBotYandexد Yandex لټوند خپلې ډلې په نشتوالي کې د Yandex ډله تعقیبوي. Crawl-delay د فبروري 2018 راهیسې اغېز نه لري.
Storebot-GoogleGoogleGoogle ShoppingGoogle بدیله ډله نه ده مستند کړې؛ ازموینه د RFC 9309 له مخې له «*» سره محاسبه کوي.
AdsBot-GoogleGoogleد Google Ads د اعلانونو موخه پاڼې ګوريد «*» ډله له پامه غورځوي. یوازې د خپلې ډلې له لارې بندېدای شي.
Mediapartners-GoogleGoogleAdSense او Ad Managerد «*» ډله له پامه غورځوي. یوازې د خپلې ډلې له لارې بندېدای شي.

ورسره د AI برابروونکو 24 پېژندونه هم شته، لکه GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot، Claude-User.‎ له 2023 راهیسې وېب سایټونه د AI برابروونکي په زیاتېدونکي او ډېر بېلابېل ډول بندوي، او د کارونې شرایط او robots.txt پکې ډېر وخت یو له بل سره په ټکر کې وي Longpre او نور 2024. د شاوخوا 4 میلیونه ډومېنونو اندازه‌ګیري ښيي چې robots.txt لا هم د دې لپاره تر ټولو مهمه وسیله ده او AI اجنټان پکې عموماً د Disallow په وسیله محدودېږي Hoffmann او نور 2026. دا چې هر AI کرالر د څه لپاره لولي، په AI کرالر چېک کې لیکل شوي؛ هغه ستاسو اصلي robots.txt هم راوړي.

د عامو حالتونو لپاره robots.txt جوړول

څوک چې robots.txt ته اړتیا لري، ډېر کم غواړي مسلکي اصطلاحات زده کړي. د 203 هنرمندانو په سروې کې د دې فایل غوښتنه زیاته وه، خو په اړه یې پوهه او خپل وېب سایټ ته لاسرسی ډېر وخت نه و Liu او نور 2025. نو جوړونکی یوازې پوښتي چې کرالرونه څه ولولي او ساده Allow او Disallow کرښې بې له پېچلتیا جوړوي. په «په ازموینه کې وګورئ» سره متن پورته ازموینې ته ځي.

جوړونکی · د عامو حالتونو لپاره robots.txt

robots.txt یوازې کرالرونو ته د پاڼو د راوړلو قواعد ټاکي. دا فایل هر څوک لوستلای شي، نو شخصي معلومات نه خوندي کوي. که نورو پاڼو بندې شوې پتې ته لینک ورکړی وي، پته بیا هم د Google په انډېکس کې راتلای شي او د لټون په پایلو کې بې له تشریح ښکاره کېدای شي.

کرالرونه باید د څه لوستلو اجازه ولري؟
کومې برخې بندې شي؟

په پای کې د مایل خط په شتون کې قاعده یوازې فولډر بندوي. له هغه پرته /intern له /internes-handbuch سره هم سمون خوري.

د هر نوم لپاره دوه کرښې، د ?name= او &name= لپاره. په دې ډول «sort» له «resort» سره سمون نه خوري.

له https:// او ډومېن سره، که نه کرښه نه لیکل کېږي.

# robots.txt, erstellt mit dem robots.txt-Tester von aureum-tech.com (Stand 14. November 2026)
# Regelt nur das Crawlen. Schützt keine Daten und nimmt keine Seite aus dem Google-Index.
User-agent: *
Disallow:

جوړونکی په براوزر کې کار کوي او هېڅ نه لېږي. فایل باید د robots.txt په نوم په اصلي فولډر کې کېښودل شي؛ د هر فرعي ډومېن لپاره جلا فایل.

د Sitemap کرښه نږدې تل ګټوره ده. د لینکونو تعقیب او Sitemap یو بل بشپړوي: په Google کې د میلیاردونو پتو په څېړنه کې، بې له ورننوتونکو لینکونو پاڼې او نوې منځپانګه د Sitemap له لارې ژر وموندل شول Schonfeld او Shivakumar 2009. دا کرښه بشپړې پتې ته اړتیا لري او پر ټولو ډلو پلي کېږي.

robots.txt څه نه شي کولای

  • دا هېڅ پاڼه له انډېکس څخه نه باسي. د Google د لارښود له مخې، robots.txt د یوې پاڼې له Google څخه د لرې ساتلو وسیله نه ده. هغه بنده پته چې نورې پاڼې ورته لینک ورکوي، په پایلو کې بې له تشریح راتلای شي. د لرې کېدو لپاره noindex کارول کېږي، او Google دا یوازې هغه وخت ویني چې د پاڼې د لوستلو اجازه ولري.
  • دا هېڅ شی نه خوندي کوي. فایل عامه دی او بندې لارې لېست کوي. RFC په څرګند ډول وايي چې دا د لاسرسي د خوندیتوب ځای نه نیسي. دا چې کرالر یې پیروي کوي که نه، د چلوونکي په ارزونه پورې اړه لري Thelwall او Stuart 2006. محرم شیان باید په پاسورډ خوندي وي.
  • دا یوه غوښتنه ده. لومړنیو لویو څېړنو هم فایل داسې قاعده بللې چې سم چلند لرونکي کرالرونه یې پیروي کوي، نه د جبري پلي کولو وسیله Sun او نور 2007a. د 40 ورځو په اوږدو کې له 130 نوم لرونکو بوټونو سره په ازموینو کې، بوټونو د سختو قواعدو لږه پیروي کوله، او د AI لټون کرالرونو ډېر وخت فایل هېڅ نه غوښت Kim او نور 2025.
  • دا یوازې پر نومونو اغېز کوي. بوټونه په ډاډ نه شي پېژندل کېدای؛ له عامو طریقو هېڅ یوه په ټولو حالاتو کې باوري نه ده Doran او Gokhale 2011. څوک چې په پردي نوم راځي، قاعده پرې نه لګېږي.
  • کلک بندیزونه په سرور کې لګېږي. د AI کرالرونو پر وړاندې په Reverse-Proxy کې بندیزونو تر robots.txt اغېزمن خوندیتوب برابر کړ Liu او نور 2025. برعکس، ځینې کوربه‌برابروونکي او د وېب سایټ جوړولو سیسټمونه کرالرونه تر دې مخکې ردوي چې robots.txt ته وار ورسېږي: د Common Crawl په یوې نسخې کې دا شاوخوا 1,68 سلنه وېب سایټونه وو Ansar او نور 2025. هلته تر ټولو ښه Allow کرښه هم ګټه نه لري.
  • ازموینه ستاسو متن ارزوي. دا چې ستاسو سرور همدا فایل، له 200 حالت سره او د متن په بڼه وړاندې کوي که نه، AI کرالر چېک یې په رښتینې غوښتنه ګوري.

ازموینه یوې لومړنۍ پوښتنې ته ځواب وايي. دا چې ستاسو پاڼې په رښتیا په Google کې دي که نه، او که نه وي علت یې څه دی، د SpotLens چټک چېک یې ښيي. د خپل ځان د کتنې لومړني ګامونه د وېب سایټ په Google کې نه موندل کېږي په لارښود کې دي. دا چې موږ په روډېویش (Rodewisch) او فوګټلنډ (Vogtland) کې وېب سایټونه څنګه د موندلو وړ کوو، د SEO لاندې دي. د موندل کېدو نور اوزار د SEO او لیدل کېدو لاندې دي.

دا وسیله له AI مرستیال څخه وکاروئ

هغه مرستیالان لکه Claude یا ChatGPT چې Model Context Protocol (MCP) کاروي، کولی شي د دې پاڼې محاسبه مستقیم وکاروي، پرته له دې چې بیا یې جوړه کړي. سرور عامه دی، نوم لیکنې ته اړتیا نه لري او هېڅ نه ساتي. ځواب تل د دې پاڼې لینک، د معلوماتو نېټه او د پایلې حدود لري.

اېنډپواینټ
https://aureum-tech.com/mcp
وسیله
werkzeug_robots_txt_tester
ټرانسپورټ
Streamable HTTP، یوازې لوستل
ننوتنې
نوماړینمانا
robots_txtهود robots.txt بشپړ متن، لکه څنګه چې پر /robots.txt دی.
pfadeنهتر 50 پورې لارې یا بشپړ URLs، لکه «/kontakt» یا «https://www.firma.de/blog?seite=2». له URLs څخه لار او Query حسابېږي. که څه ونه ټاکل شي «/».
crawlerنهد کرالرونو د محصول ټوکنونه، لکه Googlebot، bingbot، GPTBot؛ «*» د هر کرالر لپاره چې خپله ډله نه لري. پېژندل شوي: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. نور نومونه د RFC 9309 له مخې کتل کېږي. که څه ونه ټاکل شي: Googlebot, bingbot, GPTBot, ClaudeBot, *.

هغه پوښتنې چې مرستیال باید دا وسیله ورته وکاروي

  • «ایا Googlebot د دې robots.txt له مخې /wp-admin/admin-ajax.php راوړلای شي؟»
  • «ولې د “User-agent: *” لاندې زما بندیز پر GPTBot نه پلي کېږي؟»
  • «زما د robots.txt کومه کرښه https://www.firma.de/shop?sort=preis د Bingbot لپاره بندوي؟»
  • «ایا زما په robots.txt کې “Disalow: /intern/” تېروتنه ده، او Google بیا هم دا کرښه لولي؟»

نښلون څنګه کار کوي او MCP ستاسو په خپل کاروبار کې څه کولی شي، د MCP نښلونو په پاڼه کې لیکل شوي.

د robots.txt په اړه عامې پوښتنې

ایا «Disallow» یوه پاڼه د Google له انډېکس څخه باسي؟

نه. Disallow یوازې کرالر ته د پاڼې د راوړلو اجازه نه ورکوي. که نورې پاڼې همدې پتې ته لینک ولري، Google یې بیا هم بې له تشریح په پایلو کې ښودلای شي. د پاڼې د لرې کولو لپاره Google ته د پاڼې د لوستلو اجازه ورکړئ، څو په Meta-Tag یا X-Robots-Tag کې noindex ولولي. نورې لارې دا دي چې پاڼه د 404 یا 410 ځواب ورکړي، یا په پټنوم خوندي شي. که په robots.txt کې د پاڼې راوړل بند وي، Google د پاڼې noindex نه شي لوستلای.

ولې د «User-agent: *» لاندې زما بندیز پر Googlebot نه پلي کېږي؟

ځکه چې د Googlebot لپاره جلا ډله شته. کرالر د خپل نوم ډلې قواعد پلي کوي. د «*» عمومي ډله یوازې هغه وخت پلي کېږي چې د کرالر په نوم کومه ډله نه وي. که غواړئ یو بندیز پر ټولو کرالرونو پلي شي، هم په عمومي ډله کې یې ولیکئ او هم د هر کرالر په ځانګړې ډله کې. ټېسټر له هرې پایلې سره ښيي چې کومه ډله پلي شوې ده.

که Allow او Disallow دواړه له یوې لارې سره سمون ولري، کوم یو لومړیتوب لري؟

له سمون لرونکو قواعدو هغه لومړیتوب لري چې د نښو له مخې اوږده وي. که اوږدوالی یې برابر وي، Allow لومړیتوب لري. د کرښو ترتیب په فایل کې هېڅ رول نه لري. له «Disallow: /shop/» او «Allow: /shop/angebote/» سره /shop/angebote/ خلاص پاتې کېږي، د پلورنځي پاتې برخه نه.

بدل شوی robots.txt په Google کې څومره ژر اغېز کوي؟

Google عموماً فایل تر 24 ساعتونو ساتي، او که تازه کول ناکام شي، تر دې هم اوږده موده. تر هغه وخته زاړه قواعد پلي کېږي. نو بدلون لومړی دلته وازمویئ او وروسته یې اپلوډ کړئ.

ایا په robots.txt محرمې برخې خوندي کولای شم؟

نه. دا فایل عامه دی، هر څوک یې خلاصولای شي او ان بندې لارې هم څرګندوي. معیار پخپله وايي: دا د لاسرسي د خوندیتوب ځای نه نیسي. محرم شیان باید د حساب له ننوتلو یا په سرور کې د پاسورډ له خوندیتوب وروسته د لاسرسي وړ وي.

ایا Google په robots.txt کې Crawl-delay یا Noindex په پام کې نیسي؟

نه. Google یوازې user-agent، allow، disallow او sitemap لولي. په robots.txt کې Noindex، nofollow او crawl-delay د 1 سپتمبر 2019 راهیسې پر Google هېڅ اغېز نه لري. Bing د Crawl-delay پیروي کوي، Yandex د فبروري 2018 راهیسې نه، او Applebot یې هم نه کوي. ازموینه دا ډول کرښې په نښه کوي.

د robots.txt ازموینه چېرته پای ته رسېږي؟

دا ستاسو ورداخل شوی متن د RFC 9309 او د کرالرونو د مستندو ځانګړتیاوو له مخې ارزوي. دا چې ستاسو سرور همدا فایل وړاندې کوي که نه، د AI کرالر چېک یې په رښتینې غوښتنه ګوري. دا چې ستاسو پاڼې په انډېکس کې دي که نه، او که نه وي علت یې څه دی، د SpotLens چټک چېک یې ښيي. که وغواړئ، موږ هغه ستونزې هواروو چې پاڼې له Google بهر ساتي.

دا وسیله پر څه ولاړه ده

پورته لارښودي ارزښتونه او یادونې پر دې 13 علمي څېړنو ولاړ دي. هره یوه د خپل DOI یا د خپرندوی د پاڼې له لارې کتل شوې ده (وروستی ځل د 14 نومبر 2026 پر ورځ): شته، بېرته نه ده اخیستل شوې، او موندنه یې نن هم د دې پوښتنې لپاره معتبره ده.

  1. Sun, Y.; Zhuang, Z.; Giles, C.‎ L.‎ (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007)، مخونه 1123–1124

    موندنه پر 7.593 وېب سایټونو پنځه پرله‌پسې څېړنې ښيي چې د robots.txt کارول زیاتېږي. فایل هېڅ څه په زور نه پلي کوي؛ سم چلند لرونکي کرالرونه یې پیروي کوي.

    په وسیله کې د هرې پایلې پورته د دې خبرتیا بنسټ دی: robots.txt یوه غوښتنه ده، قلف نه دی.

  2. Sun, Y.; Zhuang, Z.; Councill, I.‎ G.; Giles, C.‎ L.‎ (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07)، مخونه 149–155

    موندنه په 2.925 robots.txt فایلونو کې د لویو لټون انجنونو کرالرونو ته عموماً د خپلو ډلو له لارې ترجیح ورکړل شوې وه، او دا ترجیح د بازار له ونډې سره ټینګه اړیکه لرله.

    په وسیله کې له همدې امله ازموینه څو کرالرونه یو د بل ترڅنګ پرتله کوي او ښيي چې کومه ډله پر چا پلي کېږي: توپیرونه د نوم لرونکو ډلو له لارې رامنځته کېږي.

  3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A.‎ (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008)، مخونه 1171–1172

    موندنه د 2007 د کوچنۍ څېړنې خلاف، پر شاوخوا 6 میلیونه وېب سایټونو یوې څېړنې د کوم ځانګړي لټون انجن لپاره د پام وړ ترجیح ونه موندله.

    په وسیله کې په متن کې روښانوي چې د ترجیح په اړه موندنې د نمونې له مخې توپیر لري. نو ازموینه قضاوت نه کوي؛ د هر کرالر لپاره پلي کېدونکې ډله ښيي.

  4. Giles, C.‎ L.; Sun, Y.; Councill, I.‎ G.‎ (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010)، مخونه 1101–1102

    موندنه ډېری سوداګریز کراولرونه له قواعدو سره سم چلند کاوه، خو ډېرو یې بیا بیا د robots.txt ځینې قواعد ماتول یا ناسم درک کول.

    په وسیله کې له همدې امله ازموینه هغه کرښې ښيي چې کرالرونه یې په بېلابېلو ډولونو لولي، او جوړونکی یوازې ساده Allow او Disallow کرښې لیکي.

  5. Sun, Y.; Councill, I.‎ G.; Giles, C.‎ L.‎ (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT)، مخونه 668–675

    موندنه د هغو ازمایښتي پاڼو په وسیله چې هرې یوې د robots.txt بېله قاعده لرله، د ګڼو کرالرونو چلند اندازه شو. د پیروۍ کچه یې ډېره توپیر لرله؛ ګڼو سوداګریزو کرالرونو ځینې قواعد په منظم ډول ماتول.

    په وسیله کې د «قاعده د چلند مانا نه لري» محدودیت تاییدوي: دا چې کرالر په رښتیا پیروي کوي که نه، یوازې د سرور لاګ یې ښيي، ازموینه یې نه ښيي.

  6. Thelwall, M.; Stuart, D.‎ (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13)، مخونه 1771–1779

    موندنه دا څېړنه د وېب سایټ چلوونکو لپاره د کرال کولو پایلې د لګښت، محرمیت او زیات بار له مخې وېشي. دا چې یو کرال د منلو وړ دی که نه، د کرالر چلوونکی باید هره پېښه جلا وارزوي.

    په وسیله کې روښانوي چې ولې ازموینه د محرمو برخو لپاره د Disallow کرښې پر ځای د پاسورډ خوندیتوب ته لارښوونه کوي.

  7. Schonfeld, U.; Shivakumar, N.‎ (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009)، مخونه 991–1000

    موندنه په Google کې د میلیاردونو پتو پر سر د لینکونو د تعقیب او Sitemaps پرتله ښيي چې دواړه یو بل ښه بشپړوي: Sitemaps بې له ورننوتونکو لینکونو پاڼې او نوې منځپانګه ژر د موندلو وړ کوي.

    په وسیله کې له همدې امله ازموینه د Sitemap کرښې جلا لېست کوي، ګوري چې بشپړې پتې دي که نه، او جوړونکی یوه داسې کرښه هم لیکي.

  8. Doran, D.; Gokhale, S.‎ S.‎ (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2)، مخونه 183–210

    موندنه د بوټونو د پېژندلو د عامو طریقو پرتله ښيي چې هېڅ یوه په ټولو حالاتو کې باوري کار نه کوي. ځینې بوټونه ناسم چلند کوي یا پر سرور ډېر بار اچوي.

    په وسیله کې د دې محدودیت بنسټ دی چې بوټونه په ډاډ نه شي پېژندل کېدای: قاعده یوازې پر هغو کرالرونو اغېز کوي چې خپل نوم ښيي او پیروي یې کوي.

  9. Kim, T.; Bock, K.; Luo, C.‎ او نور (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، مخونه 541–557

    موندنه د 40 ورځو په اوږدو کې له 130 نوم لرونکو بوټونو سره په کنټرول شوو ازموینو کې، بوټونو د سختو قواعدو لږه پیروي کوله، او د AI لټون کرالرونو ډېر وخت robots.txt هېڅ نه غوښت.

    په وسیله کې له همدې امله د هر «بند» ترڅنګ یادونه شته چې بندیز یوه غوښتنه ده، او په جوړونکي کې د «هر څه بند کړئ» ترڅنګ سپارښتنه شته چې په سرور کې رښتینی خوندیتوب جوړ کړئ.

  10. Longpre, S.; Mahari, R.; Lee, A.‎ او نور (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، مخونه 108042–108087

    موندنه د AI د روزنې ډېټا د 14.000 سرچینه ډومېنونو پلټنې په یوه کال کې د بندیزونو ډېر زیاتوالی، د AI برابروونکو ترمنځ لوی توپیرونه او د کارولو د شرایطو او robots.txt ترمنځ پرله‌پسې تضادونه وموندل.

    په وسیله کې له همدې امله AI کرالرونه یو یو ټاکل کېدای شي، او ازموینه د «روزنه هو که نه» پوښتنې لپاره د AI کرالر چېک ته لارښوونه کوي.

  11. Liu, E.; Luo, E.; Shan, S.‎ او نور (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، مخونه 78–99

    موندنه اندازه‌ګیرۍ او د 203 هنرمندانو سروې robots.txt ته زیاته اړتیا ښيي، خو مسلکي پوهه او خپل وېب سایټ ته لاسرسی خنډونه دي. په Reverse-Proxy کې بندیزونو اغېزمن خوندیتوب برابر کړ.

    په وسیله کې له همدې امله د عامو حالتونو لپاره جوړونکی بې له مسلکي اصطلاحاتو دی، او یادونه شته چې د کلک بندیز لپاره کوربه‌برابروونکی هم شریک کړئ.

  12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V.‎ (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2)، مخونه 29–41

    موندنه د شاوخوا 4 میلیونه ډومېنونو اندازه‌ګیري ښيي: robots.txt لا هم کرالرونو ته د لاسرسي د اجازې یا منع کولو تر ټولو مهمه وسیله ده. AI اجنټان پکې تر ډېره د Disallow کرښو له لارې محدودېږي.

    په وسیله کې روښانوي چې ولې ازموینه پر robots.txt تمرکز ساتي او د AI پېژندونه د لټون انجنونو ترڅنګ په مساوي ډول ګوري.

  13. Ansar, M.; Sperotto, A.; Holz, R.‎ (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، مخونه 197–214

    موندنه د Common Crawl په یوه اخیستل شوې نسخه کې شاوخوا 1,68 سلنه وېب سایټونو کرالر په څرګنده رد کړی و؛ ډېری وخت د لویو کوربه خدمتونو او د وېب سایټ جوړولو د چمتو سیسټمونو د برابروونکو له خوا، له بندیزه تر تصدیقي پاڼې پورې.

    په وسیله کې له همدې امله دا محدودیت شته چې اجازه ورکوونکی robots.txt ګټه نه لري که کوربه‌برابروونکی یا د بوټونو مخنیوی مخکې کرالر رد کړي.

معیارونه، ادارې او د جوړونکو معلومات

نوره پوښتنه لرئ؟

ټول 10 SEO اوزار وګورئ

دوشنبه–جمعه، 8–17 بجې

کاپي شوې پایله راولېږئ. موږ ستاسو د وېب سایټ robots.txt او Sitemap ګورو او هغه ستونزې هواروو چې پاڼې له Google بهر ساتي، په روډېویش (Rodewisch) او ټول فوګټلنډ (Vogtland) کې.

+49 3744 4399760[email protected]

دوشنبه–جمعه، 8–17 بجې · Straße der Jugend 5, 08228 Rodewisch

خپل robots.txt راڅخه وڅېړئ
+49 3744 4399760دوشنبه–جمعه، 8–17 بجې
زنګ ووهئبېرته زنګ

د برخو لېست · پاڼه 1/1

دا پاڼه له څه جوړه ده

ارزښتونه د پاڼې د جوړولو پر وخت اندازه شوي؛ که JavaScript فعال وي، ستاسو براوزر یې همدا اوس بیا اندازه کوي.

شمېرهبرخهډولاندازه
01index.htmlسند≈ 29 kB
02styles.cssسټایل شیټ≈ 20 kB
03scripts.jsسکریپټ≈ 13 kB
04archivo-variable.woff2لیکبڼه≈ 58 kB
05ibm-plex-mono.woff2لیکبڼه≈ 30 kB
06favicon.svgګرافیک< 1 kB

د اعلان یا تحلیل کوکیز: هېڅ. ستاسو له اجازې پرته دا پاڼه زموږ د رسولو خدمت Cloudflare پرته له نورو سرورونو هېڅ نه راکاږي؛ لیکبڼې، سکریپټونه او ګرافیکونه زموږ په خپلو سرورونو دي. ستاسو آی ټي هم همداسې جوړوو.

له کاري ساعتونو بهر

بیا هم زنګ ووهئ

په عادي توګه موږ دوشنبه–جمعه، 8–17 بجې په دفتر کې یو.

ماښام او د اونۍ په پای کې هم شمېره موږ ته لېږدول کېږي، او ډېر ځله یو څوک ځواب ورکوي. ژمنه یې نه شو کولی.

که څوک ځواب درنه کړي، په غږیز پیغام کې لنډ ووایئ: نوم، شمېره او خبره د څه په اړه ده. ژر تر ژره بېرته زنګ درته وهو، تر بلې کاري ورځې پورې.

خبرې وړیا دي. که له کاري ساعتونو بهر سمدستي کار ته اړتیا وي، د بیو په لېست کې ښودل شوی اضافي فیس پلي کېږي.

همدا اوس زنګ ووهئ+49 3744 4399760

لیکل غوره ګڼئ؟ د اړیکې فورمې له لارې یا [email protected] ته. هغه په بله کاري ورځ لولو.

تشخیص · AT-K2

څه ستونزه ده؟

↵ ټاکلESC بندولزنګ: +49 3744 4399760

شخصي تنظیمات

کوم خدمتونه دې لوډ شي؟

له تخنیکي پلوه اړین

هغه پرېکړه چې تاسو دلته کوئ، او د رنګ بڼې او حرکت تنظیمات. دا معلومات د کوچنیو ثبتونو په توګه ستاسو په وسیله کې پاتې کېږي او هېڅکله سرور ته نه لېږل کېږي. د پاڼې د چلولو لپاره اړین دي، نو نه شي بندېدای.