ئامراز AT-W48REV. 2026-A
تاقیکەرەوەی robots.txt: Googlebot دەتوانێت ئەم پەڕەیە بخوێنێتەوە؟
تەنیا یەک دێڕ لە robots.txt بڕیار دەدات کە Googlebot دەتوانێت پەڕەیەک وەربگرێت یان نا: درێژترین ڕێسای گونجاو لەو گرووپەی بۆ ئەم کرۆڵەرە بەکاردێت. فایلەکەتان بلکێنن و ڕێڕەو یان ناونیشانی تەواو بنووسن. تاقیکەرەوەکە بۆ Googlebot، Bingbot، GPTBot و کرۆڵەری تر پیشان دەدات کە ڕێڕەوێک ڕێگەپێدراوە یان بەستراوە و کام دێڕ بڕیاری لەسەر دەدات. هەر شتێکیش کە Google بە جۆرێکی جیاواز لە ستانداردەکە دەیخوێنێتەوە، هەمان کات دیاری دەکات.
- بەخۆڕایی
- بێ تۆمارکردن
- دەقەکە لە براوزەردا دەمێنێتەوە
01 / تاقیکەرەوە
robots.txt بلکێنن، ڕێڕەو بە ڕێڕەو بیپشکنن
تاقیکەرەوە · robots.txt بەپێی RFC 9309
هەڵسەنگاندن بەپێی RFC 9309 و تایبەتمەندییە سەلمێنراوەکانی هەر کرۆڵەرێک دەکرێت. ئەوەی کرۆڵەر پابەندی دەبێت یان نا، بەڕێوەبەرەکەی بڕیاری لەسەر دەدات.
02 / ڕێساکان
کرۆڵەر بەم شێوەیە بڕیار دەدات پەڕەیەک وەربگرێت یان نا
لە سێپتەمبەری 2022ەوە ڕێکارەکە بە RFC 9309 دیاری کراوە؛ پێشتر ڕێککەوتنێکی ساڵی 1994 بوو کە کرۆڵەرە گەورەکان هەندێک جار زیاتر و هەندێک جار کەمتر بە وردی پابەندی دەبوون Sun و هاوکارانی 2010. تاقیکەرەوەکە بەپێی RFC بەم ڕیزبەندییە حیساب دەکات:
- فایلەکە. لە /robots.txt لە بوخچەی سەرەکیدایە و تەنیا بۆ هەمان هۆست بە هەمان پڕۆتۆکۆڵ و پۆرت بەکاردێت. فایلەکەی ihre-firma.de بۆ www.ihre-firma.de یان shop.ihre-firma.de بەکار نایەت.
- گرووپەکە. کرۆڵەر بەدوای گرووپەکەی بە ناوی خۆیەتی دەگەڕێت؛ گەورە و بچووکبوونی پیتەکان گرنگ نییە. چەند گرووپێک بە هەمان ناو تێکەڵ دەکرێن. ئەگەر هیچ نەبێت، «User-agent: *» بەکاردێت؛ ئەگەر ئەویش نەبێت، هەموو شتێک ڕێگەپێدراوە.
- ڕێساکە. لە گرووپەکەدا درێژترین دێڕی Allow یان Disallow دەباتەوە کە لەگەڵ سەرەتای ڕێڕەوەکە دەگونجێت. ئەگەر درێژییان یەکسان بێت، Allow دەباتەوە. ڕیزبەندی دێڕەکان کاریگەری نییە.
- نووسەکان. ئەستێرەیەک نوێنەرایەتی هەر ژمارەیەک نووسە دەکات، نیشانەی دۆلار لە کۆتاییدا نوێنەرایەتی کۆتایی ناونیشانەکە دەکات. گەورە و بچووکبوونی پیتەکانی ڕێڕەو گرنگە. کرۆڵەر پیتە ئۆملاوتەکان بە کۆدکردنی سەدی بەراورد دەکات، بۆیە «/über» و «/%C3%BCber» یەک شتن.
- جیاوازییەکە. هەموو کەسێک دەتوانێت خودی robots.txt وەربگرێت، و دێڕەکانی Sitemap بەبێ پەیوەندی بە گرووپەکان بەکاردێن.
نەخشەیەک لەگەڵ چی دەگونجێت
| نەخشە | لەگەڵ ئەمانە دەگونجێت | لەگەڵ ئەمانە ناگونجێت |
|---|---|---|
| /fisch | /fisch, /fisch.html, /fischkopf/rezept | /Fisch, /katalog/fisch |
| /fisch/ | /fisch/, /fisch/?sorte=lachs | /fisch, /fisch.html |
| /*.php | /index.php, /ordner/seite.php?id=1 | /, /seite.PHP |
| /*.php$ | /seite.php | /seite.php?id=1, /seite.php5 |
| /*?s= | /?s=preise, /blog/?s=test | /blog/?seite=2 |
بەراوردکردن هەمیشە لە سەرەتای ڕێڕەوەکە دەست پێ دەکات، بۆیە /fisch لەگەڵ /katalog/fisch ناگونجێت. ئەگەر مەبەستتان «لە هەموو شوێنێک»ە، ئەستێرەیەک لە پێشی بنووسن.
درێژترین ڕێسا دەباتەوە
لەم نموونەیەدا گرووپەکە فرۆشگاکە دەبەستێت، بەڵام بەشی پێشنیارەکان لێی جیا دەکاتەوە. بۆ /shop/angebote/herbst تاقیکەرەوەکە ئەم ئەنجامە دەدات: بە دێڕی 3 «Allow: /shop/angebote/» لە گرووپی «User-agent: *» ڕێگەپێدراوە. بە 15 نووسە، درێژترینی ئەو 2 ڕێسا گونجاوەیە. بەڵام بۆ /shop/kasse ئەنجامەکە بەستراوە، چونکە تەنیا ڕێسا کورتترەکە دەگونجێت.
کرۆڵەرە بازرگانییەکان بۆ ماوەیەکی درێژ بەردەوام هەندێک ڕێسایان دەشکاند یان بە هەڵە تێدەگەیشتن Giles و هاوکارانی 2010. لە دوای RFCەوە شێوەی حیسابکردن ڕوونە، بەڵام هەموو کرۆڵەرێک شوێنی ناکەوێت. بۆیە تاقیکەرەوەکە ئەو دێڕانە دیاری دەکات کە کرۆڵەرەکان بە شێوەی جیاواز دەیانخوێننەوە.
User-agent: * Disallow: /shop/ Allow: /shop/angebote/
باوترین هەڵە: گرووپەکان هیچ بە میرات نابەن
ئەگەر کرۆڵەرێک گرووپی تایبەتی هەبێت، گرووپی گشتی چیتر بۆی بەکار نایەت، تەنانەت بەشێکی لێش نا. لەم نموونەیەدا دەبێت /intern/ بۆ هەمووان بەستراو بێت، بەڵام Googlebot گرووپێکی تایبەت بۆ ڕەشنووسەکان وەردەگرێت. ئەنجامی /intern/preise: بۆ Bingbot بەستراوە، بەڵام بۆ Googlebot ڕێگەپێدراوە. بۆیە ئەوەی دەبێت بۆ هەمووان بەکار بێت، دەبێت لە هەر گرووپێکی ناوداردا هەبێت.
گرووپە ناودارەکان باون. لە ڕووپێوییەکی سەرەتاییدا لەسەر 2.925 فایلی robots.txt، مەکینە گەورەکانی گەڕان زۆرجار لە ڕێگەی گرووپی تایبەتەوە دەستگەیشتنی زیاتریان لەوانی تر هەبوو Sun و هاوکارانی 2007b؛ ڕووپێوییەکی دواتر لەسەر نزیکەی 6 ملیۆن ماڵپەڕ هیچ پێشخستنێکی بەرچاوی نەدۆزییەوە Kolay و هاوکارانی 2008. جا بە ئەنقەست بێت یان نا، تاقیکەرەوەکە بۆ هەر کرۆڵەرێکی هەڵبژێردراو گرووپی پەیوەندیدار پیشان دەدات، و لە پوختەکەدا پیشان دەدات هەر گرووپێک بۆ کێ بەکاردێت.
User-agent: * Disallow: /intern/ User-agent: Googlebot Disallow: /entwurf/
03 / GOOGLE
لە کوێ Google فایلەکەی robots.txt جیاواز لە ستانداردەکە دەخوێنێتەوە
Google بەشداریی لە نووسینی RFC کردووە و لە بنەڕەتدا پابەندییەتی. لە هەندێک شوێندا شیکەرەوەی Google نەرمتر یان توندترە، و بەڵگەنامەکان ئەوە دیاری دەکەن کە RFC بە کراوەیی هێشتوویەتییەوە. تاقیکەرەوەکە بەپێی RFC حیساب دەکات و هەریەک لەم شوێنانە وەک تێبینی دیاری دەکات، بۆ ئەوەی فایلێکتان هەبێت کە لای هەموو کرۆڵەرەکان هەمان کاریگەری هەبێت.
| خاڵ | RFC 9309 | |
|---|---|---|
| قەبارەی فایل | خوێندنەوەی لانیکەم 500 KiB | زۆرترین 500 KiB، پاشماوەکە پشتگوێ دەخرێت |
| کاش | زۆرترین 24 کاتژمێر، مەگەر فایلەکە بەردەست نەبێت | زۆرجار تا 24 کاتژمێر، درێژتر ئەگەر نوێکردنەوە سەرنەکەوێت |
| گواستنەوە (Redirect) | لانیکەم پێنج گواستنەوە بەدوایدا دەکەوێت | لانیکەم پێنج گواستنەوە بەدوایدا دەکەوێت، دواتر وەک 404 |
| 404 و 4xx ی تر | robots.txt نییە، هەموو شتێک ڕێگەپێدراوە | بە هەمان شێوە، جگە لە 429 |
| 5xx یان دەستی پێ ناگات | هەموو شتێک بەستراوە؛ دوای ماوەیەکی درێژتر (بۆ نموونە 30 ڕۆژ) وەک نەبوونی فایل یان وەشانی هەڵگیراو | 12 کاتژمێر هیچ کراوڵکردنێک نییە، پاشان تا 30 ڕۆژ دوایین وەشانی دروست (بێ ئەو هیچ سنووردارییەک نییە)، دوای ئەوە وەک نەبوونی فایل، ئەگەر ماڵپەڕەکە لە ڕووی ترەوە بەردەست بێت |
| ڕێنماییەکان | user-agent، allow، disallow؛ کرۆڵەر دەتوانێت دێڕی تر لێک بداتەوە، وەک sitemap | تەنیا user-agent، allow، disallow و sitemap؛ noindex، nofollow و crawl-delay لە 1ی سێپتەمبەری 2019ەوە بێ کاریگەرییەن |
| هەڵەی نووسین، نەبوونی دووخاڵ | دێڕەکە حیساب ناکرێت | شیکەرەوەی Google هەندێک هەڵەی نووسین وەک «Disalow» و دێڕە بێ دووخاڵەکان هەر دەخوێنێتەوە |
| ناو لەگەڵ زیادە | ناوەکان تەنیا لە پیت، - و _ پێک دێن | «googlebot/1.2» و «googlebot*» بە «googlebot» دادەنرێن |
| پیتە ئۆملاوتەکان، نووسە تایبەتەکان | پێش بەراوردکردن بە کۆدکردنی سەدی بگۆڕدرێن | بە کۆدکردنی سەدی بەراورد دەکات |
| Sitemap | کرۆڵەر دەتوانێت لێکی بداتەوە | ناونیشانی تەواو لەگەڵ پڕۆتۆکۆڵ و هۆست، دەتوانێت لەسەر هۆستێکی تر بێت |
سەرچاوەکان: RFC 9309، Google دەربارەی robots.txt (تا 23ی ئۆکتۆبەری 2026)، بلۆگی Google لە 2ی جولای 2019، شیکەرەوەی Google. لە 14ی نۆڤەمبەری 2026 پشکنراوە.
مەکینەکانی تری گەڕان تایبەتمەندیی خۆیان هەیە. Bing گوێ بە Crawl-delay دەدات و ئەگەر گرووپێکی تایبەتی bingbot نەبێت، گرووپی msnbot دەخوێنێتەوە. Yandex لە 22ی فێبریوەری 2018ەوە چیتر Crawl-delay هەڵناسەنگێنێت و بە «User-agent: Yandex» گرووپێکی بۆ هەموو ڕۆبۆتەکانی هەیە. کرۆڵەرەکەی Apple ئەگەر گرووپی تایبەتی نەبێت، شوێن گرووپی Googlebot دەکەوێت؛ کرۆڵەرە ڕیکلامییەکانی Google گرووپی گشتی بە تەواوی پشتگوێ دەخەن. خشتەی خوارەوە دیاری دەکات تاقیکەرەوەکە کام لەمانە حیساب دەکات.
04 / کرۆڵەرەکان
کام ناوانە دەبێت لە robots.txt بنووسرێن
لە دێڕی User-agent دەبێت تۆکنی بەرهەم بنووسرێت، واتە ئەو ناوە کورتەی بەڕێوەبەرەکە بۆ robots.txt دیاری دەکات: «Googlebot»، نەک تەواوی ناسنامەکەی لە تۆماری سێرڤەردا هەیە. لیستەکەی تاقیکەرەوە تەنیا ئەو ناوانە لەخۆ دەگرێت کە بەڕێوەبەرەکەیان بەڵگەنامەی بۆ داناون، و تەنیا ئەو ڕێکارە تایبەتانە حیساب دەکات کە لەو بەڵگەنامانەدا باس کراون.
| ناو لە robots.txt | خاوەن | بۆ چی | تایبەتمەندی |
|---|---|---|---|
| Googlebot | گەڕانی Google، هەروەها پوختەکانی AI | بێ گرووپی تایبەت، «*» بەکاردێت. | |
| Googlebot-Image | وێنەکانی Google | بێ گرووپی تایبەت، شوێن گرووپی Googlebot دەکەوێت. | |
| bingbot | Microsoft | Bing و Copilot | بێ گرووپی تایبەت، شوێن گرووپێکی msnbot دەکەوێت، تەنیا دوای ئەوە «*». گوێ بە Crawl-delay دەدات. |
| Applebot | Apple | Siri, Spotlight, Safari | بێ گرووپی تایبەت، شوێن گرووپی Googlebot دەکەوێت. |
| DuckDuckBot | DuckDuckGo | ئیندێکسی تایبەتی DuckDuckGo | بێ گرووپی تایبەت، «*» بەکاردێت. |
| YandexBot | Yandex | گەڕانی Yandex | بێ گرووپی تایبەت، شوێن گرووپی Yandex دەکەوێت. Crawl-delay لە فێبریوەری 2018ەوە چیتر کاریگەری نییە. |
| Storebot-Google | Google Shopping | Google هیچ گرووپێکی جێگرەوەی لە بەڵگەنامەکاندا دیاری نەکردووە؛ تاقیکەرەوەکە بەپێی RFC 9309 بە «*» حیساب دەکات. | |
| AdsBot-Google | پەڕە مەبەستەکانی Google Ads دەپشکنێت | گرووپی «*» پشتگوێ دەخات. تەنیا بە گرووپێکی تایبەت دەتوانرێت ڕێگەی لێ بگیرێت. | |
| Mediapartners-Google | AdSense و Ad Manager | گرووپی «*» پشتگوێ دەخات. تەنیا بە گرووپێکی تایبەت دەتوانرێت ڕێگەی لێ بگیرێت. |
لەگەڵ ئەمانەدا 24 ناسنامەی دابینکەرانی AI هەن، لەوانە GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot، Claude-User. لە 2023ەوە ماڵپەڕەکان بە شێوەیەکی ڕوو لە زیادبوون و زۆر جیاواز ڕێگە لە دابینکەرانی AI دەگرن، و زۆرجار مەرجەکانی بەکارهێنان و robots.txt دژ بە یەکن Longpre و هاوکارانی 2024. پێوانەیەک لەسەر نزیکەی 4 ملیۆن دۆمەین پیشان دەدات کە robots.txt هەر گرنگترین ئامرازی ئەم کارەیە و ئەیجێنتەکانی AI زۆرجار بە Disallow لەوێ سنووردار دەکرێن Hoffmann و هاوکارانی 2026. ئەوەی هەر کرۆڵەرێکی AI بۆ چی دەخوێنێتەوە، لە پشکنینی کرۆڵەری AI باس کراوە؛ ئەویش هەمان کات robots.txtە ڕاستەقینەکەتان وەردەگرێت.
05 / دروستکەر
نووسینی robots.txt بۆ حاڵەتە باوەکان
ئەوەی پێویستی بە robots.txt هەیە، بە دەگمەن دەیەوێت زاراوە تەکنیکییەکان فێر بێت. لە ڕاپرسییەک لە 203 هونەرمەند، ئارەزووی هەبوونی فایلەکە زۆر بوو، بەڵام زۆرجار زانیاریی پێویست و دەستگەیشتن بە ماڵپەڕی خۆیان نەبوو Liu و هاوکارانی 2025. بۆیە دروستکەرەکە تەنیا دەپرسێت کرۆڵەرەکان چی بخوێننەوە و دێڕی سادەی Allow و Disallow بێ فێڵی تەکنیکی دەنووسێت. بە «لە تاقیکەرەوەدا بپشکنن» دەقەکە دەچێتە ناو تاقیکەرەوەکەی سەرەوە.
دروستکەر · robots.txt بۆ حاڵەتە باوەکان
robots.txt تەنیا کراوڵکردن ڕێک دەخات. هیچ داتایەک ناپارێزێت، چونکە هەموو کەسێک دەتوانێت بیخوێنێتەوە، و هیچ پەڕەیەک لە ئیندێکسی Google دەرناهێنێت: ناونیشانێکی بەستراو دەتوانێت بێ وەسف لە ئەنجامەکاندا دەربکەوێت، ئەگەر پەڕەکانی تر لینکیان بۆ دانابێت.
دروستکەرەکە لە براوزەردا کار دەکات و هیچ شتێک نانێرێت. فایلەکە دەبێت بە ناوی robots.txt لە بوخچەی سەرەکی دابنرێت، بۆ هەر ژێردۆمەینێک فایلێکی جیاواز.
دێڕی Sitemap نزیکەی هەمیشە سوودبەخشە. شوێنکەوتنی لینک و Sitemap تەواوکەری یەکن: لە پشکنینی ملیاردەها ناونیشان لە Google، پەڕە بێ لینکە هاتووەکان و ناوەڕۆکی نوێ لە ڕێگەی Sitemapەوە زووتر دۆزرانەوە Schonfeld و Shivakumar 2009. دێڕەکە پێویستی بە ناونیشانی تەواو هەیە و بۆ هەموو گرووپەکان بەکاردێت.
06 / سنوورەکان
ئەوەی robots.txt ناتوانێت بیکات
- هیچ شتێک لە ئیندێکس دەرناهێنێت. بەپێی Google، robots.txt ئامرازێک نییە بۆ ڕێگەگرتن لە دەرکەوتنی پەڕەیەک لە Google. ناونیشانێکی بەستراو کە پەڕەکانی تر لینکیان بۆ داناوە، دەتوانێت بێ وەسف لە ئەنجامەکاندا دەربکەوێت. بە noindex لادەچێت، و Google تەنیا کاتێک ئەوە دەبینێت کە ڕێگەی خوێندنەوەی پەڕەکەی هەبێت.
- هیچ شتێک ناپارێزێت. فایلەکە گشتییە و ڕێڕەوە بەستراوەکان لیست دەکات؛ RFC بە ڕوونی دەڵێت کە جێگای پاراستنی دەستگەیشتن ناگرێتەوە. ئەوەی کرۆڵەر پابەندی دەبێت یان نا، پەیوەستە بە هەڵسەنگاندنی بەڕێوەبەرەکەی Thelwall و Stuart 2006. زانیاریی نهێنی دەبێت بە پاسوۆرد بپارێزرێت.
- داواکارییەکە. یەکەم ڕووپێوییە گەورەکانیش فایلەکەیان وەک ڕێسایەک وەسف کرد کە کرۆڵەرە ڕەوشتباشەکان پابەندی دەبن، نەک ئامرازێکی بەزۆر جێبەجێکردن Sun و هاوکارانی 2007a. لە تاقیکردنەوەکان لەگەڵ 130 بۆتی ناودار بە درێژایی 40 ڕۆژ، بۆتەکان کەمتر پابەندی ڕێسا توندترەکان بوون، و کرۆڵەرەکانی گەڕانی AI زۆرجار هەر داوای فایلەکەیان نەدەکرد Kim و هاوکارانی 2025.
- تەنیا بەپێی ناو کار دەکات. ناتوانرێت بۆتەکان بە دڵنیایی بناسرێنەوە؛ هیچ یەکێک لە ڕێکارە باوەکان بە گشتی باوەڕپێکراو نییە Doran و Gokhale 2011. ئەوەی بە ناوێکی تر دێت، هیچ ڕێسایەک ناگرێتەوە.
- بەستنی ڕەها لەسەر سێرڤەرە. بەستن لە Reverse-Proxy بەرامبەر کرۆڵەرەکانی AI کاریگەرتر لە robots.txt بوو Liu و هاوکارانی 2025. لە بەرامبەردا، هەندێک دابینکەری هۆستینگ و سیستەمی دروستکردنی ماڵپەڕ کرۆڵەرەکان ڕەت دەکەنەوە پێش ئەوەی robots.txt هەر حیساب بکرێت: لە وەشانێکی داتاکانی Common Crawl نزیکەی 1,68 لەسەدی ماڵپەڕەکان وا بوون Ansar و هاوکارانی 2025. ئەوکات باشترین دێڕی Allowیش سوودی نییە.
- تاقیکەرەوەکە بە دەقی ئێوە حیساب دەکات. ئەوەی سێرڤەرەکەتان هەمان فایل بە دۆخی 200 و بە شێوەی دەق دەنێرێت یان نا، پشکنینی کرۆڵەری AI بە وەرگرتنی ڕاستەقینە دەیپشکنێت.
تاقیکەرەوەکە وەڵامی پرسیارێکی سەرەتایی دەداتەوە. ئەوەی پەڕەکانتان بەڕاستی لە Google هەن یان نا و ئەگەر نین هۆکارەکە چییە، پشکنینی خێرای SpotLens پیشانی دەدات. هەنگاوە سەرەتاییەکان بۆ پشکنین بە خۆتان لە ڕێنمایی ماڵپەڕ لە Google نادۆزرێتەوە هەن؛ ئەوەش کە چۆن ماڵپەڕەکان لە ڕۆدەڤیش (Rodewisch) و فۆگتلاند ئاسانتر دەدۆزرێنەوە، لە SEO باس کراوە. ئامرازی تر بۆ دۆزرانەوە لە SEO و دیاربوون هەن.
07 / بۆ یاریدەدەرەکانی AI
بەکارهێنانی ئەم ئامرازە لە یاریدەدەرێکی AI
یاریدەدەرەکانی وەک Claude یان ChatGPT کە Model Context Protocol (MCP) بەکار دەهێنن، دەتوانن ڕاستەوخۆ حیسابەکەی ئەم پەڕەیە بانگ بکەن، لە جیاتی ئەوەی خۆیان دووبارە دروستی بکەنەوە. سێرڤەرەکە گشتییە، پێویستی بە تۆمارکردن نییە و هیچ شتێک هەڵناگرێت. وەڵامەکە هەمیشە بەستەری ئەم پەڕەیە، بەرواری نوێکردنەوەی داتاکان و سنووری ئەنجامەکەی تێدایە.
- خاڵی پەیوەندی (Endpoint)
https://aureum-tech.com/mcp- ئامراز
werkzeug_robots_txt_tester- گواستنەوە
- Streamable HTTP، تەنیا خوێندنەوە
| ناو | پێویست | واتا |
|---|---|---|
robots_txt | بەڵێ | دەقی تەواوی robots.txt، وەک لە /robots.txt هەیە. |
pfade | نەخێر | تا 50 ڕێڕەو یان URLی تەواو، بۆ نموونە «/kontakt» یان «https://www.firma.de/blog?seite=2». لە URLەکان تەنیا ڕێڕەو و Query حیساب دەکرێن. ئەگەر هیچ شتێک دیاری نەکرێت، «/» بەکاردێت. |
crawler | نەخێر | تۆکنی بەرهەمی کرۆڵەرەکان، بۆ نموونە Googlebot، bingbot، GPTBot؛ «*» بۆ هەر کرۆڵەرێک کە گرووپی تایبەتی نییە. ئەمانە ناسراون: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. ناوەکانی تر بەپێی RFC 9309 دەپشکنرێن. ئەگەر دیاری نەکرێت: Googlebot, bingbot, GPTBot, ClaudeBot, *. |
ئەو پرسیارانەی کە یاریدەدەر دەبێت ئەم ئامرازەیان بۆ بانگ بکات
- «بەم robots.txtە Googlebot ڕێگەی هەیە /wp-admin/admin-ajax.php وەربگرێت؟»
- «بۆچی بەستنەکەم لە ژێر „User-agent: *" بۆ GPTBot کار ناکات؟»
- «کام دێڕی robots.txtەکەم https://www.firma.de/shop?sort=preis بۆ Bingbot دەبەستێت؟»
- «ئایا „Disalow: /intern/" لە robots.txtەکەم هەڵەیە، و Google لەگەڵ ئەوەشدا دێڕەکە دەخوێنێتەوە؟»
بەستنەوەکە چۆن کار دەکات و MCP لە کۆمپانیاکەی خۆتاندا چی دەتوانێت بکات، لە پەڕەی بەستنەوەی MCP نووسراوە.
08 / پرسیارە باوەکان
پرسیارە باوەکان دەربارەی robots.txt
ئایا «Disallow» پەڕەیەک لە ئیندێکسی Google دەردەهێنێت؟
نەخێر. Disallow تەنیا ڕێگە لە وەرگرتنی پەڕەکە دەگرێت. ئەگەر پەڕەکانی تر لینکی ئەو ناونیشانەیان دانابێت، Google هەر دەتوانێت لە ئەنجامەکانی گەڕاندا پیشانی بدات، بەڵام بێ وەسف. بۆ ئەوەی پەڕەیەک لابچێت، دەبێت Google بتوانێت بیخوێنێتەوە و لە Meta-Tag یان X-Robots-Tagدا noindex بدۆزێتەوە؛ یان پەڕەکە بە 404 یان 410 وەڵام بداتەوە، یان بە پاسوۆرد پارێزراو بێت. بەستن و noindex پێکەوە ئەنجامی پێچەوانە دەدەن: Google هەرگیز noindex نابینێت.
بۆچی بەستنەکەم لە ژێر «User-agent: *» بۆ Googlebot کار ناکات؟
چونکە گرووپێکی تایبەت بۆ Googlebot هەیە. کرۆڵەر شوێن ئەو گرووپە دەکەوێت کە ناوی خۆی تێدایە و تەنیا ئەگەر ئەوە نەبێت، شوێن گرووپی گشتی «*» دەکەوێت. بۆیە هەرچی لەوێ بەستراوە، دەبێت لە هەموو گرووپە ناودارەکانیشدا هەبێت. تاقیکەرەوەکە لە هەر ئەنجامێکدا پیشان دەدات کام گرووپ بەکاردێت.
ئەگەر Allow و Disallow هەردووکیان لەگەڵ هەمان ڕێڕەو بگونجێن، کامیان دەباتەوە؟
ڕێسای درێژتر، بەپێی ژمارەی نووسەکان. ئەگەر درێژییان یەکسان بێت، Allow دەباتەوە؛ ڕیزبەندییان لە فایلەکەدا کاریگەری نییە. بۆیە بە «Disallow: /shop/» و «Allow: /shop/angebote/»، ڕێڕەوی /shop/angebote/ کراوە دەمێنێتەوە، بەڵام بەشەکانی تری فرۆشگاکە بەستراو دەمێنن.
robots.txtی گۆڕدراو چەند خێرا لە Google کاریگەری دەبێت؟
Google زۆرجار فایلەکە تا 24 کاتژمێر هەڵدەگرێت، و ئەگەر نوێکردنەوەکە سەرنەکەوێت، ماوەیەکی درێژتریش. تا ئەو کاتە ڕێسا کۆنەکان بەکاردێن. بۆیە پێش بارکردنی گۆڕانکارییەک، سەرەتا لێرە بیپشکنن.
دەتوانم بە robots.txt بەشە نهێنییەکان بپارێزم؟
نەخێر. فایلەکە گشتییە، هەموو کەسێک دەتوانێت بیکاتەوە و تەنانەت ڕێڕەوە بەستراوەکانیش ئاشکرا دەکات. خودی ستانداردەکەش دەڵێت: جێگای پاراستنی دەستگەیشتن ناگرێتەوە. زانیاریی نهێنی دەبێت بە چوونەژوورەوە یان پاسوۆرد لەسەر سێرڤەر بپارێزرێت.
Google گوێ بە Crawl-delay یان Noindex لە robots.txt دەدات؟
نەخێر. Google تەنیا user-agent، allow، disallow و sitemap دەخوێنێتەوە. لە 1ی سێپتەمبەری 2019ەوە Noindex، nofollow و crawl-delay لە robots.txt بۆ Google هیچ کاریگەرییەکیان نییە. Bing گوێ بە Crawl-delay دەدات، Yandex لە فێبریوەری 2018ەوە چیتر نا، Applebotیش نا. تاقیکەرەوەکە ئەو دێڕانە نیشان دەکات.
تاقیکەرەوەی robots.txt لە کوێدا دەوەستێت؟
بەو دەقە کار دەکات کە دەیلکێنن، بەپێی RFC 9309 و تایبەتمەندییە بەڵگەدارەکانی کرۆڵەرەکان. ئەوەی سێرڤەرەکەتان بەڕاستی هەمان فایل دەنێرێت یان نا، پشکنینی کرۆڵەری AI بە وەرگرتنی ڕاستەقینە دەیپشکنێت. ئەوەی پەڕەکانتان لە ئیندێکسدان یان نا و ئەگەر نین هۆکارەکە چییە، پشکنینی خێرای SpotLens پیشانی دەدات. بە داواکاریی ئێوە ئەو هۆکارانە چارەسەر دەکەین کە ڕێگە لە دەرکەوتنی پەڕەکان لە Google دەگرن.
09 / توێژینەوە و سەرچاوەکان
ئامرازەکە پشت بە چی دەبەستێت
بەها ڕێنماییکەرەکان و تێبینییەکانی سەرەوە پشت بەم 13 توێژینەوە زانستییە دەبەستن. هەریەکەیان لە ڕێگەی DOI یان پەڕەی بڵاوکەرەوە پشکنراوە (دوایین جار لە 14ی نۆڤەمبەری 2026): بوونی هەیە، کشێنراوەتەوە نییە و دۆزینەوەکەی هێشتا بۆ ئەم پرسیارە بەکاردێت.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007)، ل. 1123–1124
دۆزینەوە پێنج ڕووپێویی بەدوای یەکدا لەسەر 7.593 ماڵپەڕ پیشان دەدەن کە بەکارهێنانی robots.txt زیاتر دەبێت. فایلەکە هیچ شتێک بە زۆر جێبەجێ ناکات؛ کرۆڵەرە ڕەوشتباشەکان پابەندی دەبن.
لە ئامرازەکەدا پشتگیری ئەو ئاگادارکردنەوەیە دەکات کە لە سەرووی هەر ئەنجامێکە: robots.txt داواکارییەکە، قوفڵ نییە.
doi.org/10.1145/1242572.1242726 · وتاری کۆنفرانس
Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07)، ل. 149–155
دۆزینەوە لە 2.925 فایلی robots.txtدا، کرۆڵەرەکانی مەکینە گەورەکانی گەڕان زۆرجار لە ڕێگەی گرووپی تایبەتەوە پێش دەخران، و ئەم پێشخستنە پەیوەندییەکی بەهێزی بە بەشی بازاڕەوە هەبوو.
لە ئامرازەکەدا بۆیە تاقیکەرەوەکە چەند کرۆڵەرێک لە تەنیشت یەک بەراورد دەکات و پیشان دەدات کام گرووپ بۆ کێ بەکاردێت: جیاوازییەکان لە ڕێگەی گرووپە ناودارەکانەوە دروست دەبن.
doi.org/10.1109/WI.2007.98 · وتاری کۆنفرانس
Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008)، ل. 1171–1172
دۆزینەوە ڕووپێوییەک لەسەر نزیکەی 6 ملیۆن ماڵپەڕ، بە پێچەوانەی توێژینەوە بچووکترەکەی 2007، هیچ پێشخستنێکی بەرچاوی مەکینەیەکی دیاریکراوی گەڕانی نەدۆزییەوە.
لە ئامرازەکەدا لە دەقەکەدا ڕوون دەکاتەوە کە دۆزینەوەکان دەربارەی پێشخستن بەپێی نموونەی هەڵبژێردراو جیاوازن. بۆیە تاقیکەرەوەکە حوکم نادات، بۆ هەر کرۆڵەرێک تەنیا گرووپی پەیوەندیدار پیشان دەدات.
doi.org/10.1145/1367497.1367711 · وتاری کۆنفرانس
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010)، ل. 1101–1102
دەرئەنجام زۆربەی کراولەرە بازرگانییەکان بەپێی ڕێساکان ڕەفتاریان کرد، بەڵام زۆرێکیان هەندێک ڕێسای robots.txt یان بەردەوام دەشکاند یان بە هەڵە تێیان دەگەیشتن.
لە ئامرازەکەدا بۆیە تاقیکەرەوەکە ئەو دێڕانە دیاری دەکات کە کرۆڵەرەکان بە شێوەی جیاواز دەیانخوێننەوە، و دروستکەرەکە تەنیا دێڕی سادەی Allow و Disallow دەنووسێت.
doi.org/10.1145/1772690.1772824 · وتاری کۆنفرانس
Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT)، ل. 668–675
دۆزینەوە بە پەڕەی ڕاکێشان کە هەریەکەیان ڕێسایەکی جیاوازی robots.txtیان هەبوو، ڕەفتاری زۆر کرۆڵەر پێوانە کرا. ئاستی پابەندییان زۆر جیاواز بوو؛ زۆر کرۆڵەری بازرگانی بەردەوام هەندێک ڕێسایان دەشکاند.
لە ئامرازەکەدا پشتگیری سنووری «ڕێسا هەمان ڕەفتار نییە» دەکات: ئەوەی کرۆڵەر بەڕاستی پابەندە یان نا، تەنیا تۆماری سێرڤەر پیشانی دەدات، نەک تاقیکەرەوەکە.
doi.org/10.1109/WI-IAT.2010.316 · وتاری کۆنفرانس
Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13)، ل. 1771–1779
دۆزینەوە توێژینەوەکە دەرئەنجامەکانی کراوڵکردن بۆ بەڕێوەبەرانی ماڵپەڕ بەپێی تێچوو، تایبەتی و بارگرانی پۆلێن دەکات. ئەوەی کراوڵکردنێک قبوڵکراوە یان نا، پێویستە بەڕێوەبەری کرۆڵەرەکە لە هەر حاڵەتێکدا جیاواز هەڵیبسەنگێنێت.
لە ئامرازەکەدا هۆکاری ئەوە ڕوون دەکاتەوە کە تاقیکەرەوەکە بۆ بەشە نهێنییەکان ئاماژە بە پاراستن بە پاسوۆرد دەکات لە جیاتی دێڕێکی Disallow.
doi.org/10.1002/asi.20388 · گۆڤاری زانستی
Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009)، ل. 991–1000
دۆزینەوە بەراوردکردنی شوێنکەوتنی لینک و Sitemaps لەسەر ملیاردەها ناونیشان لە Google پیشان دەدات کە هەردووکیان بە باشی تەواوکەری یەکن: Sitemaps پەڕەکان کە لینکی هاتوویان نییە و ناوەڕۆکی تازە زووتر دەخاتە بەرچاو.
لە ئامرازەکەدا بۆیە تاقیکەرەوەکە دێڕەکانی Sitemap بە جیا لیست دەکات و دەپشکنێت کە ناونیشانی تەواون یان نا، و دروستکەرەکەش دێڕێکیان دەنووسێت.
doi.org/10.1145/1526709.1526842 · وتاری کۆنفرانس
Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2)، ل. 183–210
دۆزینەوە بەراوردکردنی ڕێکارە باوەکانی ناسینەوەی بۆت پیشان دەدات کە هیچ کامیان بە گشتی بە شێوەیەکی باوەڕپێکراو کار ناکات. هەندێک بۆت ڕەفتاری خراپ دەکەن یان بارێکی زۆر دەخەنە سەر سێرڤەر.
لە ئامرازەکەدا پشتگیری ئەو سنوورە دەکات کە ناتوانرێت بۆتەکان بە دڵنیایی بناسرێنەوە: ڕێسایەک تەنیا لەسەر ئەو کرۆڵەرانە کاریگەری هەیە کە ناوی خۆیان دەڵێن و پابەندی دەبن.
doi.org/10.1007/s10618-010-0180-z · توێژینەوەی پێداچوونەوە
Kim, T.; Bock, K.; Luo, C. و هاوکاران (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، ل. 541–557
دۆزینەوە لە تاقیکردنەوە کۆنترۆڵکراوەکان لەگەڵ 130 بۆتی ناودار بە درێژایی 40 ڕۆژ، بۆتەکان کەمتر پابەندی ڕێسا توندترەکان بوون، و کرۆڵەرەکانی گەڕانی AI زۆرجار هەر داوای robots.txtیان نەدەکرد.
لە ئامرازەکەدا بۆیە لەگەڵ هەر «بەستراو»ێک ئەو تێبینییە هەیە کە بەستنەکە داواکارییەکە، و لە دروستکەرەکەدا لەگەڵ «بەستنی هەموو شتێک» پێشنیاری دانانی پاراستنی ڕاستەقینە لەسەر سێرڤەر هەیە.
doi.org/10.1145/3730567.3764471 · وتاری کۆنفرانس
Longpre, S.; Mahari, R.; Lee, A. و هاوکاران (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، ل. 108042–108087
دەرئەنجام پشکنینی 14.000 دۆمەین لە پشت داتای ڕاهێنانی AI لە ماوەی یەک ساڵدا زیادبوونێکی بەهێزی ڕێگرییەکانی دۆزییەوە، جیاوازیی گەورە لە نێوان کۆمپانیاکانی AI و ناکۆکیی زۆر لە نێوان مەرجەکانی بەکارهێنان و robots.txt دا.
لە ئامرازەکەدا بۆیە کرۆڵەرەکانی AI بە تاک بۆ هەڵبژاردن هەن، و تاقیکەرەوەکە بۆ پرسیاری «ڕاهێنان بەڵێ یان نەخێر» ئاماژە بە پشکنینی کرۆڵەری AI دەکات.
doi.org/10.52202/079017-3431 · وتاری کۆنفرانس
Liu, E.; Luo, E.; Shan, S. و هاوکاران (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، ل. 78–99
دۆزینەوە پێوانەکان و ڕاپرسییەک لە 203 هونەرمەند پێویستییەکی زۆر بە robots.txt پیشان دەدەن، بەڵام لە زانیاریی پسپۆڕی و دەستگەیشتن بە ماڵپەڕی خۆیاندا بەربەست هەیە. بەستن لە Reverse-Proxy پاراستنێکی کاریگەرتری دابین کرد.
لە ئامرازەکەدا بۆیە دروستکەرەکە بۆ حاڵەتە باوەکان بێ زاراوەی تەکنیکییە، و تێبینییەک هەیە کە بۆ بەستنێکی ڕەها دابینکەری هۆستینگ بەشدار بکەن.
doi.org/10.1145/3730567.3732913 · وتاری کۆنفرانس
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2)، ل. 29–41
دۆزینەوە پێوانەیەک لەسەر نزیکەی 4 ملیۆن دۆمەین پیشان دەدات: robots.txt هەر گرنگترین ئامرازە بۆ ڕێگەدان یان ڕێگەگرتن لە دەستگەیشتنی کرۆڵەرەکان. ئەیجێنتەکانی AI لەوێ بە تایبەتی بە دێڕەکانی Disallow سنووردار دەکرێن.
لە ئامرازەکەدا هۆکاری ئەوە ڕوون دەکاتەوە کە تاقیکەرەوەکە لە چوارچێوەی robots.txt دەمێنێتەوە و ناسنامەکانی AI بە هەمان ئاست لەگەڵ مەکینەکانی گەڕان دەپشکنێت.
doi.org/10.1145/3831956.3831960 · گۆڤاری زانستی
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، ل. 197–214
دەرئەنجام نزیکەی 1,68 لەسەدی ماڵپەڕەکان لە کۆپییەکی Common Crawl دا بە ئاشکرا کراولەرەکەیان ڕەت کردەوە، زۆرجار لە ڕێگەی هۆستەرە گەورەکان و دروستکەرانی ماڵپەڕەوە، لە ڕێگرییەوە تا پەڕەی پشکنین.
لە ئامرازەکەدا بۆیە ئەو سنوورە هەیە کە robots.txtێکی ڕێگەدەر سوودی نییە، ئەگەر دابینکەری هۆستینگ یان پاراستن لە بۆت پێشتر کرۆڵەرەکە ڕەت بکاتەوە.
doi.org/10.1007/978-3-031-85960-1_9 · وتاری کۆنفرانس
ستاندارد، دامەزراوە فەرمییەکان و زانیاریی بەرهەمهێنەران
- RFC 9309: Robots Exclusion Protocol · IETF، سێپتەمبەری 2022
- How Google interprets the robots.txt specification · Google Search Central، تا 23ی ئۆکتۆبەری 2026
- Introduction to robots.txt · Google Search Central
- Block Search indexing with noindex · Google Search Central
- A note on unsupported rules in robots.txt · Google Search Central Blog، 2ی جولای 2019
- Google common crawlers · Google Search Central
- Google special-case crawlers (AdsBot, Mediapartners) · Google Search Central
- google/robotstxt: شیکەرەوەی robots.txtی Google (هەڵەی نووسین، Googlebot-Image) · Google، GitHub
- To crawl or not to crawl, that is BingBot’s question · Bing Webmaster Blog، 3ی مەیی 2012
- About Applebot · Apple، دوایین نوێکردنەوە 4ی سێپتەمبەری 2026
- DuckDuckBot · DuckDuckGo
- The User-agent directive · Yandex Webmaster
- The Crawl-delay directive · Yandex Webmaster
- WordPress: do_robots() لە wp-includes/functions.php · WordPress، GitHub
10 / ئامرازی تر
هێشتا پرسیارێکتان ماوە؟
- AT-W42 · کۆمپانیا
پێشاندانی Snippet
پەڕەکەتان لە Google چۆن دەردەکەوێت؟ ناونیشان و وەسف بە پانیی پیکسڵەوە، بۆ کۆمپیوتەر و مۆبایل. - AT-W43 · کۆمپانیا
دروستکەری Schema
داتای ڕێکخراو بۆ کۆمپانیاکەتان: LocalBusiness، کاتی کار و FAQ وەک JSON-LD بۆ تێخستن. - AT-W44 · کۆمپانیا
پشکنینی پرۆفایلی کۆمپانیا
پرۆفایلی کۆمپانیاکەتان لە Google تەواوە؟ ئەوەی کەمە، بەپێی کاریگەری ڕیز کراوە. - AT-W45 · کۆمپانیا
پشکنینی NAP
ناو، ناونیشان و ژمارەی تەلەفۆنەکەتان لە هەموو شوێنێک وەک یەکن؟ تۆمارەکانی ناو ڕێبەرەکان بەراورد بکەن. - AT-W46 · کۆمپانیا
ڕیزکەری Keyword
کام وشەی گەڕان پێکەوە دێن، و گەڕێنەرەکە چی دەوێت؟ لیستەکان بەپێی بابەت و مەبەستی گەڕان ڕیز دەکرێن. - AT-W47 · ماڵەوە و کۆمپانیا
پشکنینی ئاسانیی خوێندنەوە
تێگەیشتن لە دەقەکەتان چەند ئاسانە؟ پێوەری ئاسانیی خوێندنەوە بۆ زمانی ئەڵمانی، ڕستە درێژ و وشە قورسەکان نیشانە دەکرێن.
ئەنجامە کۆپیکراوەکەتان بۆمان بنێرن. robots.txt و Sitemapی ماڵپەڕەکەتان دەپشکنین و ئەو هۆکارانە چارەسەر دەکەین کە ڕێگە لە دەرکەوتنی پەڕەکان لە Google دەگرن، لە ڕۆدەڤیش و سەرانسەری فۆگتلاند.
+49 3744 4399760[email protected]دووشەممە تا هەینی، کاتژمێر 8 تا 17 · Straße der Jugend 5, 08228 Rodewisch