ابزار AT-W48REV. 2026-A
آزمایش robots.txt: آیا Googlebot اجازۀ خواندن این صفحه را دارد؟
گرفتن یک صفحه توسط Googlebot به یک سطر در robots.txt بستگی دارد: طولانیترین قاعدۀ سازگار در گروه همان ربات. فایل را بچسپانید و مسیرها یا آدرسهای کامل را وارد کنید. تستر برای Googlebot، Bingbot، GPTBot و رباتهای دیگر نشان میدهد که مسیر باز است یا بسته و کدام سطر آن را تعیین میکند. همچنان نشان میدهد Google در کجا متن را متفاوت از معیار میخواند.
- رایگان
- بدون ثبت نام
- متن در براوزر میماند
01 / تستر
متن robots.txt را بچسپانید و مسیرها را یکبهیک بررسی کنید
تستر · robots.txt طبق RFC 9309
بررسی بر اساس RFC 9309 انجام میشود و رفتارهای مستند هر ربات را هم در نظر میگیرد. مسئول ربات تصمیم میگیرد که به این قواعد عمل کند یا نه.
02 / قواعد
ربات چطور تصمیم میگیرد یک صفحه را بگیرد؟
این روش از سپتمبر 2022 در RFC 9309 ثبت شده است. پیش از آن، توافقی از سال 1994 بود که رباتهای بزرگ هرکدام به اندازۀ متفاوتی آن را رعایت میکردند Sun و همکاران 2010. تستر طبق RFC و بهترتیب زیر بررسی میکند:
- فایل. این فایل به آدرس /robots.txt در پوشۀ اصلی است و تنها برای همان میزبان با همان پروتکل و پورت اعتبار دارد. فایل ihre-firma.de برای www.ihre-firma.de یا shop.ihre-firma.de اعتبار ندارد.
- گروه. ربات گروهی را پیدا میکند که نام خودش را دارد. حروف بزرگ و کوچک در نام فرق ندارد. اگر چند گروه با همان نام باشند، یکجا حساب میشوند. اگر گروه نامدار نباشد، «User-agent: *» اعتبار دارد. اگر آن هم نباشد، همهچیز باز است.
- قاعده. از سطرهای Allow و Disallow که با شروع مسیر جور میآیند، طولانیترین سطر اعتبار دارد. در صورت طول برابر، Allow تعیینکننده است. ترتیب سطرها فرق ندارد.
- نویسهها. ستاره جای هر تعداد نویسه میآید. علامت دالر در آخر، پایان آدرس را مشخص میکند. حروف بزرگ و کوچک در مسیر فرق دارند. ربات حروفی مانند اوملاوت را با کودگذاری فیصدی مقایسه میکند، پس «/über» و «/%C3%BCber» یکساناند.
- استثنا. گرفتن خود فایل robots.txt برای همه مجاز است. سطرهای Sitemap جدا از گروهها اعتبار دارند.
یک الگو با کدام مسیرها جور میآید؟
| الگو | جور میآید | جور نمیآید |
|---|---|---|
| /fisch | /fisch, /fisch.html, /fischkopf/rezept | /Fisch, /katalog/fisch |
| /fisch/ | /fisch/, /fisch/?sorte=lachs | /fisch, /fisch.html |
| /*.php | /index.php, /ordner/seite.php?id=1 | /, /seite.PHP |
| /*.php$ | /seite.php | /seite.php?id=1, /seite.php5 |
| /*?s= | /?s=preise, /blog/?s=test | /blog/?seite=2 |
مقایسه همیشه از شروع مسیر انجام میشود، به همین دلیل /fisch با /katalog/fisch جور نمیآید. اگر منظور هرجای مسیر باشد، در اول الگو یک ستاره بگذارید.
طولانیترین قاعده اعتبار دارد
در مثال، گروه فروشگاه را میبندد اما بخش پیشنهادها را باز میگذارد. برای /shop/angebote/herbst، تستر نشان میدهد که سطر 3، «Allow: /shop/angebote/»، در گروه «User-agent: *» مسیر را باز میگذارد. این قاعده با 15 نویسه، طولانیترین قاعده از 2 قاعدۀ سازگار است. /shop/kasse بسته است، چون صرف قاعدۀ کوتاهتر با آن جور میآید.
رباتهای تجارتی برای مدت طولانی بعضی قواعد را پیهم نقض میکردند یا اشتباه میفهمیدند Giles و همکاران 2010. با آمدن RFC روش بررسی روشن است، اما هر ربات آن را رعایت نمیکند. تستر سطرهایی را نشان میدهد که رباتها متفاوت میخوانند.
User-agent: * Disallow: /shop/ Allow: /shop/angebote/
رایجترین اشتباه: گروهها چیزی به ارث نمیبرند
اگر یک ربات گروه جداگانۀ خود را داشته باشد، هیچ بخشی از گروه عمومی برایش اعتبار ندارد. در مثال قرار است /intern/ برای همه بسته باشد، ولی Googlebot گروهی جداگانه برای مسودهها دارد. نتیجۀ /intern/preise برای Bingbot بسته و برای Googlebot باز است. قاعدهای که باید برای همه اعتبار داشته باشد، باید در هر گروه نامدار هم بیاید.
گروههای نامدار رایجاند. در یک بررسی قدیمی از 2.925 فایل robots.txt، موتورهای بزرگ جستجو معمولاً از راه گروههای جداگانه دسترسی بیشتر از دیگران داشتند Sun و همکاران 2007b. یک بررسی بعدی از حدود 6 میلیون ویبسایت ترجیح قابلتوجهی پیدا نکرد Kolay و همکاران 2008. عمدی باشد یا نه، تستر برای هر ربات انتخابشده گروه معتبر را نشان میدهد و در نمای کلی مشخص میکند هر گروه برای کدام رباتها اعتبار دارد.
User-agent: * Disallow: /intern/ User-agent: Googlebot Disallow: /entwurf/
03 / Google
Google robots.txt را در کدام موارد متفاوت از معیار میخواند؟
Google در نوشتن RFC سهم داشته و در اصول از آن پیروی میکند. تجزیهکنندۀ Google در بعضی موارد آسانگیرتر یا سختگیرتر است و اسناد Google مواردی را روشن میکند که RFC تعیین نکرده است. تستر مطابق RFC بررسی میکند و هر مورد متفاوت را نشان میدهد تا بتوانید فایلی بسازید که برای همۀ رباتها به یک شکل کار بدهد.
| مورد | RFC 9309 | |
|---|---|---|
| حجم فایل | حداقل 500 KiB خوانده میشود | حداکثر 500 KiB، از بقیه چشمپوشی میشود |
| حافظۀ موقت | حداکثر 24 ساعت، مگر اینکه فایل در دسترس نباشد | معمولاً تا 24 ساعت، اگر گرفتن نسخۀ تازه ناکام شود بیشتر |
| تغییر مسیر | حداقل پنج تغییر مسیر دنبال شود | حداقل پنج؛ پس از آن مانند 404 |
| 404 و دیگر کودهای 4xx | robots.txt وجود ندارد، همه چیز مجاز است | همینطور، بهجز 429 |
| 5xx یا غیرقابل دسترس | همهچیز بسته؛ پس از مدتی طولانیتر، مثلاً 30 روز، مانند حالت نبودن فایل یا بر اساس نسخۀ ذخیرهشده | 12 ساعت بدون خزش، سپس تا 30 روز آخرین نسخۀ سالم اعتبار دارد (اگر نسخۀ سالمی نباشد، محدودیتی نیست). پس از آن، اگر ویبسایت در دسترس باشد، مانند حالت نبودن فایل است |
| دستورها | user-agent، allow و disallow؛ ربات میتواند سطرهای دیگر مانند sitemap را هم تفسیر کند | تنها user-agent، allow، disallow و sitemap؛ از 1 سپتمبر 2019، noindex، nofollow و crawl-delay اثر ندارند |
| اشتباه تایپی، نبودن دونقطه | سطر حساب نمیشود | تجزیهکنندۀ Google بعضی اشتباههای تایپی مانند «Disalow» و سطرهای بدون دونقطه را هم میخواند |
| نام همراه با پسوند | نام تنها از حروف، - و _ ساخته شده است | «googlebot/1.2» و «googlebot*» هر دو «googlebot» حساب میشوند |
| اوملاوت و نویسههای خاص | پیش از مقایسه با فیصدی کودگذاری شود | با کودگذاری فیصدی مقایسه میکند |
| Sitemap | ربات میتواند آن را تفسیر کند | آدرس کامل با پروتکل و میزبان، میتواند روی میزبانی دیگر باشد |
منابع: RFC 9309، رهنمود Google دربارۀ robots.txt (تا 23 اکتوبر 2026)، بلاگ Google به تاریخ 2 جولای 2019 و تجزیهکنندۀ Google. در 14 نومبر 2026 بررسی شد.
موتورهای دیگر جستجو رفتارهای خاص خود را دارند. Bing دستور Crawl-delay را رعایت میکند و اگر گروه bingbot وجود نداشته باشد، گروه msnbot را میخواند. Yandex از 22 فبروری 2018 دیگر Crawl-delay را رعایت نمیکند و با «User-agent: Yandex» برای همۀ رباتهای خود یک گروه دارد. ربات Apple بدون گروه جداگانه از گروه Googlebot پیروی میکند. رباتهای اعلاناتی Google گروه عمومی را یکسره نادیده میگیرند. جدول پایین نشان میدهد تستر کدام رفتارها را حساب میکند.
04 / رباتهای خزنده
کدام نامها را در robots.txt بنویسیم؟
در سطر User-agent توکن محصول را بنویسید، یعنی نام کوتاهی که مسئول ربات برای robots.txt اعلام کرده است، مانند «Googlebot». به شناسۀ کامل ثبتشده در لاگ سرور نیاز نیست. فهرست تستر تنها نامهای مستند را دارد و رفتار خاص را فقط در صورت مستند بودن در نظر میگیرد.
| نام در robots.txt | ارائهکننده | برای چه | رفتار خاص |
|---|---|---|---|
| Googlebot | جستجوی Google، با خلاصههای هوش مصنوعی | اگر گروه جداگانه نباشد، «*» اعتبار دارد. | |
| Googlebot-Image | جستجوی تصویر Google | اگر گروه جداگانه نباشد، از گروه Googlebot پیروی میکند. | |
| bingbot | Microsoft | Bing و Copilot | اگر گروه جداگانه نباشد، از گروه msnbot پیروی میکند و تنها پس از آن از گروه «*». Crawl-delay را هم رعایت میکند. |
| Applebot | Apple | Siri, Spotlight, Safari | اگر گروه جداگانه نباشد، از گروه Googlebot پیروی میکند. |
| DuckDuckBot | DuckDuckGo | فهرست جستجوی خود DuckDuckGo | اگر گروه جداگانه نباشد، «*» اعتبار دارد. |
| YandexBot | Yandex | جستجوی Yandex | اگر گروه جداگانه نباشد، از گروه Yandex پیروی میکند. از فبروری 2018، Crawl-delay اثر ندارد. |
| Storebot-Google | Google Shopping | Google گروه جایگزینی را مستند نکرده است. تستر طبق RFC 9309 گروه «*» را حساب میکند. | |
| AdsBot-Google | صفحههای مقصد Google Ads را بررسی میکند | گروه «*» را نادیده میگیرد. صرف با گروه جداگانه میتوان آن را بست. | |
| Mediapartners-Google | AdSense و Ad Manager | گروه «*» را نادیده میگیرد. صرف با گروه جداگانه میتوان آن را بست. |
24 شناسه از ارائهدهندگان هوش مصنوعی هم وجود دارد، از جمله GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot و Claude-User. از 2023 به بعد ویبسایتها بیشتر و به شکلهای متفاوت این خدمات را میبندند. شرایط استفاده و robots.txt هم اغلب با هم نمیخوانند Longpre و همکاران 2024. بررسی حدود 4 میلیون دامنه نشان میدهد robots.txt هنوز مهمترین وسیله برای این کار است و عاملهای هوش مصنوعی در آن معمولاً با Disallow محدود میشوند Hoffmann و همکاران 2026. در بررسی رباتهای هوش مصنوعی میبینید هر ربات برای چه کاری صفحه میخواند. آن ابزار فایل واقعی robots.txt شما را هم میگیرد.
05 / تولیدکننده
ساختن robots.txt برای حالتهای رایج
کسی که به robots.txt نیاز دارد، معمولاً نمیخواهد واژههای تخنیکی یاد بگیرد. در یک نظرسنجی از 203 هنرمند، افراد زیادی این فایل را میخواستند، ولی اغلب معلومات لازم یا دسترسی به ویبسایت خود را نداشتند Liu و همکاران 2025. به همین دلیل تولیدکننده صرف میپرسد رباتها چه چیزی را خوانده میتوانند و سطرهای سادۀ Allow و Disallow را مینویسد. با «بررسی در تستر»، متن در تستر بالای صفحه باز میشود.
تولیدکننده · robots.txt برای حالتهای رایج
robots.txt تنها خواندن صفحهها توسط رباتها را تنظیم میکند. فایل از معلومات محافظت نمیکند، چون هرکس آن را خوانده میتواند. صفحه را از فهرست Google هم بیرون نمیکند. یک آدرس بسته اگر از صفحههای دیگر لینک داشته باشد، میتواند بدون توضیح در نتایج ظاهر شود.
تولیدکننده در براوزر کار میکند و هیچ چیز نمیفرستد. فایل را با نام robots.txt در پوشۀ اصلی بگذارید. هر زیردامنه فایل جداگانۀ خود را میخواهد.
نوشتن سطر Sitemap تقریباً همیشه مفید است. دنبال کردن لینکها و نقشۀ ویبسایت همدیگر را تکمیل میکنند. در مقایسۀ میلیاردها آدرس Google، صفحههای بدون لینک ورودی و مطالب تازه از راه نقشۀ ویبسایت زودتر پیدا میشدند Schonfeld und Shivakumar 2009. این سطر آدرس کامل میخواهد و برای همۀ گروهها اعتبار دارد.
06 / حدود
robots.txt چه کارهایی را انجام نمیدهد
- چیزی را از فهرست بیرون نمیکند. به گفتۀ Google، با robots.txt نمیشود یک صفحه را از نتایج Google بیرون نگه داشت. آدرس بستهای که از صفحههای دیگر لینک دارد، ممکن است بدون توضیح در نتایج ظاهر شود. برای بیرون کردن صفحه از noindex استفاده کنید. Google فقط وقتی آن را میبیند که اجازۀ خواندن صفحه را داشته باشد.
- از معلومات محافظت نمیکند. فایل عمومی است و مسیرهای بسته را فهرست میکند. RFC بهروشنی میگوید که این فایل جای حفاظت از دسترسی را نمیگیرد. رعایت آن به تصمیم مسئول هر ربات بستگی دارد Thelwall und Stuart 2006. معلومات محرمانه باید پشت رمز باشد.
- یک درخواست است. نخستین بررسیهای بزرگ این فایل را قاعدهای توصیف میکردند که رباتهای قانونپذیر رعایت میکنند و اجرای آن اجباری نیست Sun و همکاران 2007a. در آزمایشهایی با 130 ربات نامدار در 40 روز، رباتها کمتر از قواعد سختگیرانه پیروی کردند و رباتهای جستجوی هوش مصنوعی اغلب اصلاً فایل را نگرفتند Kim و همکاران 2025.
- به نام ربات وابسته است. نمیتوان رباتها را با اطمینان شناخت، چون هیچ یک از روشهای رایج در همۀ حالتها قابل اعتماد نیست Doran und Gokhale 2011. رباتی که با نام دیگری بیاید، به قاعدۀ مربوط به خودش نمیخورد.
- مسدود کردن واقعی در سرور انجام میشود. بستن دسترسی در پراکسی معکوس در برابر رباتهای هوش مصنوعی از robots.txt مؤثرتر بود Liu و همکاران 2025. بعضی میزبانها و ویبسایتسازها هم پیش از آنکه نوبت به robots.txt برسد، رباتها را رد میکنند. در یک نسخۀ معلومات Common Crawl، حدود 1,68 فیصد ویبسایتها همین کار را میکردند Ansar و همکاران 2025. در آن حالت حتی سطر درست Allow هم کمکی نمیکند.
- تستر متن شما را بررسی میکند. برای اینکه معلوم شود سرور دقیقاً همین فایل را به شکل متن و با وضعیت 200 میفرستد، بررسی رباتهای هوش مصنوعی فایل را مستقیماً از سرور میگیرد.
تستر به یک سوال ابتدایی جواب میدهد. Quick-Check در SpotLens نشان میدهد که آیا صفحههای شما واقعاً در Google هستند و اگر نیستند، مشکل کجاست. برای بررسی ابتدایی به رهنمود ویبسایت در Google پیدا نمیشود مراجعه کنید. در بخش SEO توضیح میدهیم که چطور به دیده شدن ویبسایتها در رودویش (Rodewisch) و فوگتلند (Vogtland) کمک میکنیم. ابزارهای دیگر در SEO و دیدهشدن آمدهاند.
07 / برای دستیاران هوش مصنوعی
استفاده از این ابزار از طریق یک دستیار هوش مصنوعی
دستیارهایی مانند Claude یا ChatGPT که Model Context Protocol (MCP) را میفهمند، حساب این صفحه را مستقیم صدا زده میتوانند، به جای اینکه خودشان دوباره بسازند. سرور عمومی است، به ثبت نام ضرورت ندارد و چیزی ذخیره نمیکند. جواب همیشه لینک این صفحه، تاریخ معلومات و حدود نتیجه را در بر دارد.
- نقطۀ پایانی (Endpoint)
https://aureum-tech.com/mcp- ابزار
werkzeug_robots_txt_tester- انتقال
- Streamable HTTP، فقط خواندنی
| نام | حتمی | معنا |
|---|---|---|
robots_txt | بلی | متن کامل فایل robots.txt، همانطور که در /robots.txt آمده است. |
pfade | نخیر | حداکثر 50 مسیر یا URL کامل، مثلاً «/kontakt» یا «https://www.firma.de/blog?seite=2». از URL تنها مسیر و پارامترها در نظر گرفته میشوند. اگر چیزی وارد نشود، «/» استفاده میشود. |
crawler | نخیر | توکن محصول رباتها، مثلاً Googlebot، bingbot، GPTBot. علامت «*» برای هر رباتی است که گروه جداگانه ندارد. نامهای شناختهشده: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. نامهای دیگر طبق RFC 9309 بررسی میشوند. پیشفرض: Googlebot, bingbot, GPTBot, ClaudeBot, *. |
سوالهایی که دستیار باید با آنها این ابزار را صدا بزند
- «آیا Googlebot با همین robots.txt اجازۀ گرفتن /wp-admin/admin-ajax.php را دارد؟»
- «چرا محدودیت زیر «User-agent: *» برای GPTBot اعتبار ندارد؟»
- «کدام سطر robots.txt من آدرس https://www.firma.de/shop?sort=preis را برای Bingbot میبندد؟»
- «آیا «Disalow: /intern/» در robots.txt من اشتباه است؟ Google باز هم این سطر را میخواند؟»
اینکه اتصال چطور کار میکند و MCP در شرکت خود شما چه کرده میتواند، در صفحۀ ادغام MCP نوشته شده است.
08 / سوالهای رایج
سوالهای رایج دربارۀ robots.txt
آیا «Disallow» یک صفحه را از فهرست Google بیرون میکند؟
نخیر. Disallow صرف گرفتن صفحه را منع میکند. اگر ویبسایتهای دیگر به آن آدرس لینک بدهند، Google هنوز هم میتواند آن را در نتایج نشان بدهد، اما بدون توضیح. برای بیرون کردن یک صفحه، Google باید بتواند آن را بخواند و noindex را در متاتگ یا X-Robots-Tag ببیند. راه دیگر این است که صفحه با 404 یا 410 جواب بدهد یا پشت رمز باشد. بستن صفحه همراه با noindex نتیجۀ برعکس میدهد، چون Google noindex را اصلاً نمیبیند.
چرا محدودیت «User-agent: *» برای Googlebot اعتبار ندارد؟
چون Googlebot گروه جداگانۀ خود را دارد. هر ربات از گروهی پیروی میکند که به نام خودش است. تنها اگر چنین گروهی نباشد، گروه عمومی «*» را میگیرد. چیزی که در گروه عمومی بسته است، باید در هر گروه نامدار هم آمده باشد. تستر در هر نتیجه نشان میدهد کدام گروه اعتبار دارد.
اگر Allow و Disallow هر دو با یک مسیر جور بیایند، کدام اعتبار دارد؟
قاعدهای که از نگاه شمار نویسهها طولانیتر است. اگر طول برابر باشد، Allow اعتبار دارد. ترتیب سطرها در فایل فرق ندارد. با «Disallow: /shop/» و «Allow: /shop/angebote/»، مسیر /shop/angebote/ باز میماند و باقی فروشگاه بسته است.
تغییر در robots.txt چه وقت در Google اثر میکند؟
Google معمولاً فایل را تا 24 ساعت در حافظۀ موقت نگه میدارد. اگر گرفتن نسخۀ تازه کامیاب نشود، ممکن است بیشتر نگه دارد. تا آن وقت قواعد قبلی اعتبار دارند. پیش از آپلود، متن تغییریافته را اینجا بررسی کنید.
آیا robots.txt بخشهای محرمانه را محافظت میکند؟
نخیر. فایل عمومی است و هرکس میتواند آن را بگیرد. خود فایل حتی مسیرهای بسته را نشان میدهد. معیار هم میگوید که این فایل جای حفاظت از دسترسی را نمیگیرد. معلومات محرمانه را در بخشی بگذارید که سرور برای آن ورود به حساب یا رمز بخواهد.
آیا Google Crawl-delay یا Noindex را در robots.txt رعایت میکند؟
نخیر. Google فقط user-agent، allow، disallow و sitemap را میخواند. Noindex، nofollow و crawl-delay در robots.txt از 1 سپتمبر 2019 بر Google اثر ندارند. Bing دستور Crawl-delay را رعایت میکند، Yandex از فبروری 2018 به بعد آن را رعایت نمیکند و Applebot هم رعایت نمیکند. تستر این سطرها را نشانی میکند.
آزمایش robots.txt چه محدودیتهایی دارد؟
این ابزار همان متنی را که وارد میکنید، طبق RFC 9309 و رفتارهای مستند رباتها بررسی میکند. برای دیدن اینکه سرور شما واقعاً همین فایل را میفرستد، بررسی رباتهای هوش مصنوعی فایل را مستقیماً میگیرد. Quick-Check در SpotLens نشان میدهد که صفحهها در فهرست جستجو هستند یا نه و اگر نیستند، مشکل از کجاست. اگر بخواهید، موانع دیده شدن صفحهها در Google را رفع میکنیم.
09 / پژوهشها و منابع
این ابزار بر چه تکیه دارد
مقدارهای رهنمودی و نکتههای بالا بر این 13 پژوهش استوارند. هر پژوهش را از راه DOI یا ویبسایت ناشر بررسی کردیم، آخرین بار در 14 نومبر 2026. همۀ این پژوهشها وجود دارند، پس گرفته نشدهاند و یافتههایشان هنوز به این سوال ارتباط دارد.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. مجموعهمقالات 16مین کنفرانس بینالمللی ویب جهانی (WWW 2007)، صفحات 1123–1124
یافته پنج بررسی پیهم از 7.593 ویبسایت نشان میدهد که استفاده از robots.txt بیشتر شده است. فایل اجرای هیچ قاعدهای را تضمین نمیکند. رباتهای قانونپذیر به خواست خود آن را رعایت میکنند.
در ابزار این یافته دلیل نکتهای است که بالای هر نتیجه آمده: robots.txt یک درخواست است و دسترسی را قفل نمیکند.
doi.org/10.1145/1242572.1242726 · مقالۀ کنفرانس
Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07)، ص. 149–155
یافته در 2.925 فایل robots.txt، رباتهای موتورهای بزرگ جستجو بیشتر با داشتن گروه جداگانه امتیاز میگرفتند. این امتیاز بهشدت با سهم آنها از بازار ارتباط داشت.
در ابزار به همین دلیل تستر چند ربات را کنار هم مقایسه میکند و نشان میدهد کدام گروه برای هرکدام اعتبار دارد و در نمای کلی هر گروه برای کدام رباتها اعتبار دارد: تفاوت از گروههای نامدار پیدا میشود.
doi.org/10.1109/WI.2007.98 · مقالۀ کنفرانس
Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008)، ص. 1171–1172
یافته بررسی حدود 6 میلیون ویبسایت، برخلاف پژوهش کوچکتر سال 2007، امتیاز قابلتوجهی برای یک موتور جستجوی مشخص پیدا نکرد.
در ابزار متن توضیح میدهد که نتیجۀ بررسی امتیازدهی با تغییر نمونۀ پژوهش فرق میکند. تستر قضاوت نمیکند و فقط برای هر ربات نشان میدهد کدام گروه اعتبار دارد.
doi.org/10.1145/1367497.1367711 · مقالۀ کنفرانس
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. مجموعهمقالات 19مین کنفرانس بینالمللی ویب جهانی (WWW 2010)، صفحات 1101–1102
یافته بیشتر خزندههای تجارتی مطابق قواعد رفتار کردند، اما بسیاری بعضی قواعد robots.txt را بارها نقض کردند یا نادرست فهمیدند.
در ابزار از همین رو تستر سطرهایی را نشان میدهد که رباتها متفاوت میخوانند و تولیدکننده صرف سطرهای سادۀ Allow و Disallow را مینویسد.
doi.org/10.1145/1772690.1772824 · مقالۀ کنفرانس
Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT)، ص. 668–675
یافته رفتار رباتهای زیادی با صفحههای آزمایشی سنجیده شد که برای هرکدام قاعدۀ متفاوت robots.txt گذاشته بودند. میزان رعایت قواعد بسیار فرق میکرد. بسیاری از رباتهای تجارتی بعضی قواعد را پیهم نقض میکردند.
در ابزار این یافته محدودیت را روشن میکند: فقط لاگ سرور، نه تستر، نشان میدهد که آیا یک ربات واقعاً از قواعد پیروی میکند.
doi.org/10.1109/WI-IAT.2010.316 · مقالۀ کنفرانس
Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13)، ص. 1771–1779
یافته پژوهش پیامدهای خواندن خودکار صفحهها را برای مسئول ویبسایت از نگاه هزینه، محرمیت و بار زیاد روی سرور بررسی میکند. تشخیص اینکه خواندن صفحه قابلتوجیه است یا نه، به تصمیم مسئول ربات در هر مورد بستگی دارد.
در ابزار به همین دلیل برای بخشهای محرمانه، تستر حفاظت با رمز را پیشنهاد میکند، چون سطر Disallow دسترسی را محافظت نمیکند.
doi.org/10.1002/asi.20388 · مجلۀ علمی
Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009)، ص. 991–1000
یافته مقایسۀ دنبال کردن لینکها و نقشۀ ویبسایت برای میلیاردها آدرس Google نشان میدهد که این دو روش همدیگر را تکمیل میکنند. نقشۀ ویبسایت کمک میکند صفحههای بدون لینک ورودی و مطالب تازه زودتر پیدا شوند.
در ابزار از همین رو تستر سطرهای Sitemap را جداگانه فهرست میکند و میسنجد که آدرسشان کامل باشد. تولیدکننده هم یک سطر Sitemap مینویسد.
doi.org/10.1145/1526709.1526842 · مقالۀ کنفرانس
Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2)، ص. 183–210
یافته مقایسۀ روشهای رایج شناخت رباتها نشان میدهد که هیچکدام در همۀ موارد قابل اعتماد نیست. بعضی رباتها درست رفتار نمیکنند یا بار سنگینی بر سرور میگذارند.
در ابزار این یافته توضیح میدهد چرا نمیتوان رباتها را با اطمینان شناخت. قاعده فقط برای رباتی اثر دارد که نام خودش را اعلام کند و آن را رعایت کند.
doi.org/10.1007/s10618-010-0180-z · مقالۀ مروری
Kim, T.; Bock, K.; Luo, C. و همکاران (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. مجموعهمقالات کنفرانس سنجش انترنت ACM در سال 2025 (IMC 2025)، صفحات 541–557
یافته در آزمایشهای کنترلشده با 130 ربات نامدار در 40 روز، رباتها کمتر از قواعد سختگیرانه پیروی کردند و رباتهای جستجوی هوش مصنوعی اغلب اصلاً robots.txt را نگرفتند.
در ابزار از همین رو کنار هر نتیجۀ «بسته» یادآوری میشود که این محدودیت یک درخواست است. در گزینۀ «بستن همهچیز» در تولیدکننده هم توصیه میشود که سرور واقعاً از دسترسی محافظت کند.
doi.org/10.1145/3730567.3764471 · مقالۀ کنفرانس
Longpre, S.; Mahari, R.; Lee, A. و دیگران (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، صفحات 108042–108087
یافته بررسی 14.000 دامنه که منبع دادههای آموزش هوش مصنوعی بودند، طی یک سال افزایش شدید مسدودسازی، تفاوتهای بزرگ میان عرضهکنندگان هوش مصنوعی و تناقضهای مکرر میان شرایط استفاده و robots.txt را نشان داد.
در ابزار به همین دلیل میتوانید رباتهای هوش مصنوعی را جداگانه انتخاب کنید. برای تصمیم گرفتن دربارۀ آموزش دادن یا ندادن مدلها هم تستر به بررسی رباتهای هوش مصنوعی ارجاع میدهد.
doi.org/10.52202/079017-3431 · مقالۀ کنفرانس
Liu, E.; Luo, E.; Shan, S. و دیگران (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 78–99
یافته اندازهگیریها و نظرسنجی از 203 هنرمند نشان میدهد که نیاز به robots.txt زیاد است، ولی کمبود معلومات تخنیکی و دسترسی نداشتن به ویبسایت خود مانع ایجاد میکند. بستن دسترسی در پراکسی معکوس مؤثرتر بود.
در ابزار به همین دلیل تولیدکننده حالتهای رایج را بدون واژههای تخنیکی پوشش میدهد و یادآوری میکند که برای بستن واقعی دسترسی با میزبان ویبسایت صحبت کنید.
doi.org/10.1145/3730567.3732913 · مقالۀ کنفرانس
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2)، ص. 29–41
یافته بررسی حدود 4 میلیون دامنه نشان میدهد که robots.txt هنوز مهمترین وسیله برای باز گذاشتن یا بستن دسترسی رباتها است. عاملهای هوش مصنوعی در آن بیشتر با سطرهای Disallow محدود میشوند.
در ابزار این یافته توضیح میدهد که چرا تستر روی robots.txt تمرکز دارد و شناسههای هوش مصنوعی را همتراز با موتورهای جستجو بررسی میکند.
doi.org/10.1145/3831956.3831960 · مجلۀ علمی
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، صفحات 197–214
یافته حدود 1,68 درصد ویبسایتها در یک نسخۀ برداشتشدۀ Common Crawl صریحاً دسترسی خزنده را رد کردند؛ اغلب از سوی فراهمکنندگان بزرگ میزبانی و خدمات ساخت ویبسایت، با روشهایی از مسدودسازی تا نمایش صفحۀ بررسی.
در ابزار از همین رو اگر میزبان یا سیستم محافظت از رباتها پیش از خواندن robots.txt ربات را رد کند، باز گذاشتن آدرس در فایل کمکی نمیکند.
doi.org/10.1007/978-3-031-85960-1_9 · مقالۀ کنفرانس
معیارها، ادارات و معلومات تولیدکنندگان
- RFC 9309: پروتوکول منع دسترسی رباتها · IETF، سپتمبر 2022
- How Google interprets the robots.txt specification · Google Search Central، تا 23 اکتوبر 2026
- Introduction to robots.txt · Google Search Central
- Block Search indexing with noindex · Google Search Central
- A note on unsupported rules in robots.txt · Google Search Central Blog، 2 جولای 2019
- Google common crawlers · Google Search Central
- Google special-case crawlers (AdsBot, Mediapartners) · Google Search Central
- google/robotstxt: تجزیهکنندۀ robots.txt Google (اشتباه تایپی، Googlebot-Image) · Google، GitHub
- To crawl or not to crawl, that is BingBot’s question · Bing Webmaster Blog، 3 می 2012
- دربارۀ Applebot · Apple، آخرین بازنگری: 4 سپتمبر 2026
- DuckDuckBot · DuckDuckGo
- The User-agent directive · Yandex Webmaster
- The Crawl-delay directive · Yandex Webmaster
- WordPress: do_robots() in wp-includes/functions.php · WordPress, GitHub
10 / ابزارهای دیگر
هنوز سوالی دارید؟
- AT-W42 · شرکتها
پیشنمایش Snippet
صفحۀ شما در Google چطور دیده میشود؟ عنوان و توضیح با عرض پیکسل، برای کمپیوتر و مبایل. - AT-W43 · شرکتها
سازندۀ Schema
معلومات ساختاریافته برای شرکت شما: LocalBusiness، ساعات کاری و FAQ به شکل JSON-LD برای چسپاندن. - AT-W44 · شرکتها
بررسی پروفایل شرکت
آیا پروفایل شرکت شما در Google کامل است؟ آنچه کم است، به ترتیب تاثیر. - AT-W45 · شرکتها
بررسی NAP
آیا نام، آدرس و شمارۀ تیلفون شما همه جا یکسان نوشته شده؟ مقایسۀ ثبتها در فهرستهای آنلاین. - AT-W46 · شرکتها
دستهبندی کلیدواژهها
کدام کلیدواژهها با هم تعلق دارند، و جستجوکننده چه میخواهد؟ لستها به ترتیب موضوع و هدف جستجو. - AT-W47 · شخصی و شرکتها
بررسی خوانایی متن
متن شما چقدر فهمیده میشود؟ شاخص خوانایی برای زبان آلمانی، جملههای دراز و کلمههای سخت نشانی میشوند.
نتیجۀ کاپیشده را برای ما بفرستید. ما در رودویش (Rodewisch) و تمام فوگتلند (Vogtland) فایل robots.txt و نقشۀ ویبسایت شما را بررسی میکنیم و موانع دیده شدن صفحهها در Google را رفع میکنیم.
+49 3744 4399760[email protected]دوشنبه تا جمعه، ساعت 8 تا 17 · Straße der Jugend 5, 08228 Rodewisch