ابزار AT-W48REV. 2026-A
تست robots.txt برای بررسی دسترسی Googlebot به صفحه
اجازه دریافت صفحه برای Googlebot را یک خط در robots.txt تعیین میکند: طولانیترین قاعده منطبق در گروه همان خزنده. متن فایل و مسیرها یا نشانیهای کامل را وارد کنید. تست برای Googlebot، Bingbot، GPTBot و بقیه خزندهها نشان میدهد کدام مسیر مجاز است، کدام بسته است و کدام خط تعیینکننده است. تفاوت رفتار Google با استاندارد را هم مشخص میکند.
- رایگان
- بدون ثبتنام
- متن در مرورگر میماند
01 / تست
robots.txt را وارد کنید و مسیرها را بررسی کنید
تست · robots.txt بر اساس RFC 9309
بررسی بر اساس RFC 9309 انجام میشود و تفاوتهای مستند عملکرد خزندهها در نظر گرفته میشود. اینکه خزنده واقعاً از قواعد پیروی کند، به ارائهدهنده آن بستگی دارد.
02 / قواعد
خزنده چطور تصمیم میگیرد صفحه را دریافت کند؟
از سپتامبر 2022 این روش در RFC 9309 استاندارد شده است. پیش از آن، از سال 1994 توافقی وجود داشت که خزندههای بزرگ با دقت یکسانی رعایتش نمیکردند Sun و همکاران 2010. تست مراحل RFC را بهترتیب زیر اجرا میکند.
- فایل. فایل در /robots.txt در پوشه اصلی سایت است و فقط برای همان میزبان، پروتکل و پورت اعتبار دارد. فایل ihre-firma.de برای www.ihre-firma.de یا shop.ihre-firma.de معتبر نیست.
- گروه. خزنده دنبال گروهی با نام خودش میگردد. بزرگی و کوچکی حروف در نام مهم نیست. چند گروه همنام با هم ترکیب میشوند. اگر گروه اختصاصی نباشد، «User-agent: *» معتبر است. بدون آن گروه هم همه مسیرها مجازند.
- قاعده. در گروه، طولانیترین خط Allow یا Disallow که با ابتدای مسیر مطابقت داشته باشد اجرا میشود. اگر طول برابر باشد، Allow اولویت دارد. ترتیب خطها اثری ندارد.
- نویسهها. ستاره جای هر تعداد نویسه مینشیند و علامت دلار در انتها، پایان نشانی را نشان میدهد. بزرگی و کوچکی حروف در مسیر مهم است. خزنده نویسههای اوملات را با کدگذاری درصدی مقایسه میکند، پس «/über» و «/%C3%BCber» یکساناند.
- استثنا. همه اجازه دارند خود فایل robots.txt را دریافت کنند. خطهای Sitemap هم مستقل از گروهها معتبرند.
هر الگو با چه مسیرهایی منطبق است؟
| الگو | منطبق با | نامنطبق با |
|---|---|---|
| /fisch | /fisch, /fisch.html, /fischkopf/rezept | /Fisch, /katalog/fisch |
| /fisch/ | /fisch/, /fisch/?sorte=lachs | /fisch, /fisch.html |
| /*.php | /index.php, /ordner/seite.php?id=1 | /, /seite.PHP |
| /*.php$ | /seite.php | /seite.php?id=1, /seite.php5 |
| /*?s= | /?s=preise, /blog/?s=test | /blog/?seite=2 |
مقایسه همیشه از ابتدای مسیر شروع میشود. برای همین /fisch با /katalog/fisch منطبق نیست. اگر الگو باید در هر جای مسیر منطبق شود، قبل از آن ستاره بگذارید.
طولانیترین قاعده اولویت دارد
در نمونه، گروه فروشگاه را مسدود و پیشنهادها را مستثنا میکند. برای /shop/angebote/herbst نتیجه «مجاز» است، بر اساس خط 3 «Allow: /shop/angebote/» در گروه «User-agent: *». این قاعده با 15 نویسه طولانیترین قاعده از 2 قاعده منطبق است. مسیر /shop/kasse مسدود است، چون فقط قاعده کوتاهتر با آن تطابق دارد.
خزندههای تجاری مدتها بعضی قواعد را رعایت نمیکردند یا آنها را نادرست تفسیر میکردند Giles و همکاران 2010. از زمان انتشار RFC روش محاسبه روشن است، ولی همه خزندهها از آن پیروی نمیکنند. تست خطهایی را مشخص میکند که خزندهها بهشکل متفاوتی میخوانند.
User-agent: * Disallow: /shop/ Allow: /shop/angebote/
رایجترین اشتباه: گروهها چیزی از هم به ارث نمیبرند
اگر خزنده گروه اختصاصی داشته باشد، هیچ بخشی از گروه عمومی برایش معتبر نیست. در نمونه، قرار است مسیر /intern/ برای همه مسدود باشد، اما Googlebot گروه جداگانهای برای پیشنویسها دارد. برای مسیر /intern/preise، Bingbot مسدود و Googlebot مجاز است. قواعدی را که باید برای همه اجرا شوند در همه گروههای نامدار هم وارد کنید.
گروههای نامدار رایجاند. در بررسی اولیه 2925 فایل robots.txt، موتورهای جستوجوی بزرگ معمولاً از طریق گروههای اختصاصی دسترسی بیشتری از بقیه داشتند Sun و همکاران 2007b. در بررسی بعدی حدود 6 میلیون سایت، امتیاز قابلتوجهی برای موتور خاصی دیده نشد Kolay و همکاران 2008. تست برای هر خزنده انتخابشده، گروه معتبر را نشان میدهد. در نمای کلی هم میبینید هر گروه برای چه خزندههایی معتبر است.
User-agent: * Disallow: /intern/ User-agent: Googlebot Disallow: /entwurf/
03 / Google
Google کجا robots.txt را متفاوت از استاندارد میخواند؟
Google در تدوین RFC مشارکت داشته و از اصول آن پیروی میکند. در بعضی موارد، تحلیلگر Google سختگیرتر یا آسانگیرتر است و مستنداتش جزئیاتی را مشخص میکند که RFC باز گذاشته است. تست طبق RFC محاسبه میکند و این تفاوتها را نشان میدهد تا بتوانید فایلی تهیه کنید که برای همه خزندهها یکسان عمل کند.
| موضوع | RFC 9309 | |
|---|---|---|
| حجم فایل | خواندن حداقل 500 KiB | حداکثر 500 KiB، بقیه نادیده گرفته میشود |
| حافظه موقت | حداکثر 24 ساعت، مگر آنکه فایل در دسترس نباشد | معمولاً تا 24 ساعت، در صورت ناموفقبودن دریافت نسخه تازه بیشتر |
| تغییر مسیر | حداقل پنج تغییر مسیر دنبال میشود | حداقل پنج تغییر مسیر؛ پس از آن مانند 404 |
| 404 و سایر کدهای 4xx | robots.txt وجود ندارد، همهچیز مجاز است | همان رفتار، بهجز 429 |
| 5xx یا خارج از دسترس | همه مسیرها مسدود؛ بعد از مدت طولانی (مثلاً 30 روز)، مانند فایل ناموجود یا با استفاده از نسخه ذخیرهشده | 12 ساعت بدون خزیدن، سپس تا 30 روز استفاده از آخرین نسخه سالم (اگر نسخهای نباشد، بدون محدودیت). پس از آن، اگر بقیه سایت در دسترس باشد، مانند حالت بدون فایل رفتار میشود. |
| دستورها | user-agent، allow و disallow؛ خزنده میتواند خطهای دیگر مانند sitemap را هم تفسیر کند | فقط user-agent، allow، disallow و sitemap. دستورهای noindex، nofollow و crawl-delay از 1 سپتامبر 2019 اثری ندارند. |
| غلط تایپی، دونقطه جاافتاده | خط نادیده گرفته میشود | تحلیلگر Google بعضی غلطهای تایپی مانند «Disalow» و خطهای بدون دونقطه را هم میخواند |
| نام با پسوند | نامها فقط از حرف، - و _ تشکیل میشوند | «googlebot/1.2» و «googlebot*» بهعنوان «googlebot» شناخته میشوند |
| حروف اوملات و نویسههای ویژه | پیش از مقایسه بهصورت درصدی کدگذاری کنید | مقایسه در قالب کدگذاری درصدی |
| Sitemap | خزنده مجاز به تفسیر آن است | نشانی کامل با پروتکل و میزبان؛ میتواند روی میزبان دیگری باشد |
منابع: RFC 9309، مستندات Google درباره robots.txt (تا 23 اکتبر 2026)، وبلاگ Google در 2 ژوئیه 2019 و تحلیلگر Google. بررسی در 14 نوامبر 2026.
موتورهای جستوجوی دیگر هم رفتارهای خاصی دارند. Bing از Crawl-delay پیروی میکند و اگر گروه اختصاصی bingbot نباشد، گروه msnbot را میخواند. Yandex از 22 فوریه 2018 دیگر Crawl-delay را اجرا نمیکند و برای همه رباتهای خود گروه «User-agent: Yandex» را دارد. خزنده Apple بدون گروه اختصاصی از گروه Googlebot پیروی میکند. خزندههای تبلیغاتی Google گروه عمومی را نادیده میگیرند. جدول پایین نشان میدهد ابزار کدام رفتارها را در نظر میگیرد.
04 / خزندهها
چه نامهایی را در robots.txt بنویسیم؟
در خط User-agent، شناسه محصول را بنویسید. این همان نام کوتاهی است که ارائهدهنده برای robots.txt اعلام کرده، مثل «Googlebot». رشته کامل نام خزنده از گزارش سرور لازم نیست. فهرست ابزار فقط نامهای مستند ارائهدهنده را دارد و رفتارهای ویژه را در صورت مستند بودن در نظر میگیرد.
| نام در robots.txt | ارائهدهنده | برای چه | ویژگی |
|---|---|---|---|
| Googlebot | جستوجوی Google، با خلاصههای هوش مصنوعی | بدون گروه اختصاصی، «*» معتبر است. | |
| Googlebot-Image | جستوجوی تصاویر Google | بدون گروه اختصاصی، از گروه Googlebot پیروی میکند. | |
| bingbot | Microsoft | Bing und Copilot | اگر گروه اختصاصی نداشته باشد، ابتدا از گروه msnbot و سپس از «*» پیروی میکند. Crawl-delay را اجرا میکند. |
| Applebot | Apple | Siri, Spotlight, Safari | بدون گروه اختصاصی، از گروه Googlebot پیروی میکند. |
| DuckDuckBot | DuckDuckGo | فهرست نتایج خود DuckDuckGo | بدون گروه اختصاصی، «*» معتبر است. |
| YandexBot | Yandex | جستوجوی Yandex | بدون گروه اختصاصی، از گروه Yandex پیروی میکند. Crawl-delay از فوریه 2018 اثری ندارد. |
| Storebot-Google | Google Shopping | Google گروه جایگزین مستند نکرده است. تست طبق RFC 9309 از «*» استفاده میکند. | |
| AdsBot-Google | صفحههای مقصد تبلیغات Google Ads را بررسی میکند | گروه «*» را نادیده میگیرد. فقط با گروه اختصاصی میتوانید آن را مسدود کنید. | |
| Mediapartners-Google | AdSense und Ad Manager | گروه «*» را نادیده میگیرد. فقط با گروه اختصاصی میتوانید آن را مسدود کنید. |
علاوه بر این، 24 شناسه از ارائهدهندگان هوش مصنوعی در فهرست است، از جمله GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot و Claude-User. از 2023 به این سو، سایتها ارائهدهندگان هوش مصنوعی را بیشتر و به روشهای گوناگون مسدود میکنند. شرایط استفاده و robots.txt در این موارد اغلب با هم تناقض دارند Longpre و همکاران 2024. بررسی حدود 4 میلیون دامنه نشان میدهد robots.txt همچنان مهمترین روش است و عاملهای هوش مصنوعی اغلب با Disallow محدود میشوند Hoffmann و همکاران 2026. بررسی خزندههای هوش مصنوعی توضیح میدهد هر خزنده برای چه منظوری میخواند و فایل واقعی robots.txt شما را هم دریافت میکند.
05 / ساخت فایل
ساخت robots.txt برای موارد رایج
افرادی که به robots.txt نیاز دارند معمولاً نمیخواهند اصطلاحات فنی یاد بگیرند. در نظرسنجی از 203 هنرمند، افراد زیادی این فایل را میخواستند، اما اغلب دانش لازم یا دسترسی به سایتشان را نداشتند Liu و همکاران 2025. برای همین ابزار فقط میپرسد خزندهها چه چیزهایی را بخوانند و خطهای ساده Allow و Disallow میسازد. با دکمه «بررسی در تست»، متن در بخش تست بالا قرار میگیرد.
ساخت فایل · robots.txt برای موارد رایج
robots.txt فقط قواعد خزیدن را مشخص میکند. این فایل عمومی است و از دادهها محافظت نمیکند. همچنین صفحهها را از فهرست Google حذف نمیکند. اگر صفحههای دیگری به نشانی بسته لینک دهند، ممکن است آن نشانی بدون توضیح در نتایج دیده شود.
ابزار ساخت فایل در مرورگر کار میکند و چیزی نمیفرستد. فایل را با نام robots.txt در پوشه اصلی قرار دهید. هر زیردامنه فایل جداگانهای دارد.
خط Sitemap تقریباً همیشه مفید است. دنبالکردن لینکها و نقشه سایت مکمل هماند. در بررسی میلیاردها نشانی در Google، صفحههای بدون لینک ورودی و محتوای تازه به کمک نقشه سایت زودتر دیده شدند Schonfeld und Shivakumar 2009. این خط به نشانی کامل نیاز دارد و برای همه گروهها معتبر است.
06 / محدودیتها
کارهایی که robots.txt انجام نمیدهد
- صفحه را از فهرست حذف نمیکند. طبق Google، robots.txt راهی برای جلوگیری از نمایش صفحه در نتایج نیست. اگر یک نشانی مسدود شده اما صفحههای دیگر به آن لینک دهند، ممکن است بدون توضیح در نتایج ظاهر شود. ابزار حذف، noindex است و Google فقط در صورتی آن را میبیند که بتواند صفحه را بخواند.
- از اطلاعات محافظت نمیکند. فایل عمومی است و مسیرهای مسدود را فهرست میکند. RFC صریحاً میگوید این فایل جای کنترل دسترسی را نمیگیرد. رعایت قواعد به تصمیم ارائهدهنده خزنده بستگی دارد Thelwall und Stuart 2006. بخش محرمانه را با رمز عبور محافظت کنید.
- رعایت آن اختیاری است. نخستین بررسیهای بزرگ این فایل را مجموعه قواعدی توصیف کردند که خزندههای مسئولیتپذیر رعایت میکنند و ضمانت اجرایی ندارد Sun و همکاران 2007a. در آزمایش روی 130 ربات نامدار طی 40 روز، رباتها قواعد سختگیرانهتر را کمتر رعایت میکردند و خزندههای جستوجوی هوش مصنوعی اغلب فایل را حتی دریافت نمیکردند Kim و همکاران 2025.
- قواعد بر اساس نام اجرا میشوند. هیچیک از روشهای معمول تشخیص ربات، در همه موارد قابل اتکا نیست Doran und Gokhale 2011. اگر خزنده خودش را با نام دیگری معرفی کند، قاعده مربوط به نام واقعیاش برایش اجرا نمیشود.
- مسدودسازی قطعی روی سرور انجام میشود. محدودیت در پراکسی معکوس (Reverse Proxy) در برابر خزندههای هوش مصنوعی از robots.txt مؤثرتر بود Liu و همکاران 2025. بعضی میزبانها و سایتسازها هم پیش از آنکه robots.txt اثری داشته باشد خزندهها را رد میکنند. در یک مجموعه داده Common Crawl، این موضوع درباره حدود 1.68 درصد سایتها دیده شد Ansar و همکاران 2025. در این حالت خط Allow هم کمکی نمیکند.
- تست بر اساس متن واردشده کار میکند. اینکه سرور دقیقاً همین فایل را بهصورت متن و با وضعیت 200 ارائه میدهد یا نه، با درخواست واقعی در بررسی خزندههای هوش مصنوعی مشخص میشود.
تست به یک سؤال مقدماتی جواب میدهد. بررسی سریع SpotLens مشخص میکند که صفحههای شما در Google هستند یا چه مشکلی جلوی نمایششان را گرفته است. مراحل بررسی شخصی در راهنمای سایت در Google پیدا نمیشود آمدهاند. در بخش سئو میگوییم چگونه به دیدهشدن سایتها در رودویش (Rodewisch) و فوگتلاند (Vogtland) کمک میکنیم. ابزارهای بیشتر را در سئو و دیدهشدن پیدا میکنید.
07 / برای دستیارهای هوش مصنوعی
استفاده از این ابزار از طریق دستیار هوش مصنوعی
دستیارهایی مثل Claude یا ChatGPT که با Model Context Protocol (MCP) کار میکنند، میتوانند محاسبه این صفحه را مستقیم فراخوانی کنند، بهجای آنکه خودشان آن را بازسازی کنند. سرور عمومی است، ثبتنام لازم ندارد و چیزی ذخیره نمیکند. پاسخ همیشه لینک این صفحه، تاریخ بهروزرسانی دادهها و محدودیتهای نتیجه را در بر دارد.
- نقطه اتصال
https://aureum-tech.com/mcp- ابزار
werkzeug_robots_txt_tester- پروتکل انتقال
- Streamable HTTP، فقط خواندنی
| نام | الزامی | معنی |
|---|---|---|
robots_txt | بله | متن کامل robots.txt، همانطور که در مسیر /robots.txt ارائه میشود. |
pfade | نه | تا 50 مسیر یا نشانی وب کامل، مثلاً «/kontakt» یا «https://www.firma.de/blog?seite=2». برای نشانی وب فقط مسیر و پارامترها بررسی میشوند. پیشفرض «/» است. |
crawler | نه | شناسه محصول خزندهها، مثلاً Googlebot، bingbot یا GPTBot. «*» برای هر خزنده بدون گروه اختصاصی است. موارد شناختهشده: Googlebot، Googlebot-Image، bingbot، Applebot، DuckDuckBot، YandexBot، Storebot-Google، AdsBot-Google، Mediapartners-Google، GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot، Claude-User، Google-Extended، Google-Agent، PerplexityBot، Perplexity-User، Applebot-Extended، meta-externalagent، meta-webindexer، meta-externalfetcher، Amazonbot، Amzn-SearchBot، Amzn-User، MistralAI-Training، MistralAI-Index، MistralAI-User، DuckAssistBot، YouBot، CCBot، Bytespider، *. نامهای دیگر طبق RFC 9309 بررسی میشوند. پیشفرض: Googlebot، bingbot، GPTBot، ClaudeBot، *. |
پرسشهایی که دستیار باید برایشان این ابزار را فراخوانی کند
- «با این robots.txt، آیا Googlebot اجازه دریافت /wp-admin/admin-ajax.php را دارد؟»
- «چرا قاعده مسدودکننده من در «User-agent: *» برای GPTBot اجرا نمیشود؟»
- «کدام خط robots.txt من دسترسی Bingbot به https://www.firma.de/shop?sort=preis را مسدود میکند؟»
- «آیا «Disalow: /intern/» در robots.txt اشتباه است و Google با این حال خط را میخواند؟»
اینکه اتصال چطور کار میکند و MCP در کسبوکار شما چه کاری از پیش میبرد، در صفحه یکپارچهسازی با MCP آمده است.
08 / پرسشهای رایج
پرسشهای رایج درباره robots.txt
آیا «Disallow» صفحه را از فهرست Google حذف میکند؟
نه. Disallow فقط دریافت صفحه را ممنوع میکند. اگر صفحههای دیگر به نشانی آن لینک بدهند، ممکن است Google همچنان آن را بدون توضیح در نتایج نشان دهد. برای حذف صفحه، Google باید اجازه خواندنش را داشته باشد و دستور noindex را در تگ متا یا X-Robots-Tag پیدا کند. راه دیگر این است که سرور برای آن صفحه پاسخ 404 یا 410 بدهد یا صفحه با رمز عبور محافظت شود. اگر همزمان خزیدن را مسدود کنید و noindex بگذارید، Google هیچوقت noindex را نمیبیند.
چرا قاعده مسدودکننده «User-agent: *» برای Googlebot اجرا نمیشود؟
چون گروه جداگانهای برای Googlebot وجود دارد. هر خزنده اول از گروهی پیروی میکند که با نام خودش مشخص شده است. گروه عمومی «*» فقط وقتی معتبر است که خزنده گروه جداگانه نداشته باشد. مسیری که در گروه عمومی بستهاید باید در هر گروه نامدار هم بسته شود. تست در هر نتیجه نشان میدهد کدام گروه معتبر است.
اگر Allow و Disallow هر دو با یک مسیر تطابق داشته باشند، کدام اجرا میشود؟
قاعدهای که تعداد نویسه بیشتری دارد. اگر طول دو قاعده برابر باشد، Allow اجرا میشود. ترتیب خطها در فایل اثری ندارد. مثلاً با «Disallow: /shop/» و «Allow: /shop/angebote/»، مسیر /shop/angebote/ باز میماند و بقیه فروشگاه بسته است.
تغییر robots.txt چقدر طول میکشد تا در Google اثر کند؟
Google معمولاً فایل را تا 24 ساعت در حافظه موقت نگه میدارد. اگر دریافت نسخه تازه به مشکل بخورد، ممکن است این زمان بیشتر شود. تا آن موقع قواعد قبلی اجرا میشوند. برای همین، بهتر است تغییر را اول اینجا تست کنید و بعد فایل را روی سرور بگذارید.
میتوانم بخشهای محرمانه را با robots.txt محافظت کنم؟
نه. فایل عمومی است، هر کسی میتواند آن را باز کند و حتی مسیرهای بسته را نشان میدهد. استاندارد هم همین را میگوید: این فایل برای کنترل دسترسی نیست. محتوای محرمانه را با ورود به حساب کاربری یا رمز عبور روی سرور محافظت کنید.
Google دستورهای Crawl-delay و Noindex را در robots.txt اجرا میکند؟
نه. Google فقط user-agent، allow، disallow و sitemap را میخواند. از 1 سپتامبر 2019، دستورهای Noindex، nofollow و crawl-delay در robots.txt روی Google اثری ندارند. Bing از Crawl-delay پیروی میکند. Yandex از فوریه 2018 دیگر آن را اجرا نمیکند و Applebot هم آن را نادیده میگیرد. تست چنین خطهایی را مشخص میکند.
محدودیتهای تست robots.txt چیست؟
این ابزار متن واردشده را بر اساس RFC 9309 و رفتار مستند خزندهها بررسی میکند. بررسی خزندههای هوش مصنوعی با یک درخواست واقعی نشان میدهد که آیا سرور شما دقیقاً همین فایل را میفرستد یا نه. بررسی سریع SpotLens هم نشان میدهد که صفحهها در فهرست نتایج هستند یا چه چیزی جلوی ثبتشان را گرفته است. اگر بخواهید، علت دیدهنشدن صفحهها در Google را برطرف میکنیم.
09 / پژوهشها و منابع
این ابزار بر چه پایهای است
مقادیر و راهنماییهای بالا بر این 13 پژوهش علمی تکیه دارند. هرکدام از راه DOI یا صفحه ناشر بررسی شدهاند (آخرین بررسی در 14 نوامبر 2026). مقالهها در دسترساند، پس گرفته نشدهاند و یافتههایشان هنوز برای این سؤال کاربرد دارند.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007)، ص. 1123–1124
یافته پنج بررسی متوالی روی 7593 سایت نشان دادند که استفاده از robots.txt رواج بیشتری پیدا کرده است. فایل ضمانت اجرایی ندارد و این خزندههای مسئولیتپذیر هستند که قواعدش را رعایت میکنند.
در ابزار مبنای هشدار بالای هر نتیجه است: robots.txt یک درخواست است، نه قفل.
doi.org/10.1145/1242572.1242726 · مقاله کنفرانس
Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), ص. 149–155
یافته در 2925 فایل robots.txt، موتورهای جستوجوی بزرگ اغلب از طریق گروه اختصاصی دسترسی بیشتری داشتند. این تفاوت ارتباط زیادی با سهم بازار داشت.
در ابزار به همین دلیل تست چند خزنده را کنار هم مقایسه میکند و نشان میدهد کدام گروه برای هر خزنده معتبر است. تفاوتها از گروههای اختصاصی میآیند.
doi.org/10.1109/WI.2007.98 · مقاله کنفرانس
Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), ص. 1171–1172
یافته در بررسی حدود 6 میلیون سایت، برخلاف مطالعه کوچکتر سال 2007، امتیاز قابلتوجهی برای موتور جستوجوی خاصی دیده نشد.
در ابزار در متن توضیح میدهیم که یافتهها درباره امتیازدهی بسته به نمونه متفاوتاند. به همین دلیل تست به نمایش گروه معتبر برای هر خزنده اکتفا میکند.
doi.org/10.1145/1367497.1367711 · مقاله کنفرانس
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010)، ص. 1101–1102
یافته بیشتر خزندههای تجاری مطابق قواعد رفتار میکردند، اما بسیاری از آنها بعضی قواعد robots.txt را بارها نقض میکردند یا اشتباه میفهمیدند.
در ابزار تست خطهایی را که خزندهها بهشکل متفاوتی میخوانند مشخص میکند و سازنده فایل فقط خطهای ساده Allow و Disallow مینویسد.
doi.org/10.1145/1772690.1772824 · مقاله کنفرانس
Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), ص. 668–675
یافته رفتار شمار زیادی خزنده را روی صفحههای آزمایشی سنجیدند که هرکدام قاعده متفاوتی در robots.txt داشتند. میزان رعایت قواعد بهشدت متفاوت بود و بسیاری از خزندههای تجاری بعضی قواعد را مرتب نقض میکردند.
در ابزار مبنای توضیح تفاوت قاعده و رفتار واقعی است. اینکه خزنده از قاعده پیروی کرده یا نه، در گزارش سرور مشخص میشود.
doi.org/10.1109/WI-IAT.2010.316 · مقاله کنفرانس
Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), ص. 1771–1779
یافته مقاله پیامدهای خزیدن برای دارندگان سایت را از نظر هزینه، حریم خصوصی و اضافهبار بررسی میکند. متصدی خزنده باید جداگانه درباره قابل قبول بودن هر مورد تصمیم بگیرد.
در ابزار مبنای توصیه به محافظت از بخشهای محرمانه با رمز عبور بهجای تکیه بر یک خط Disallow است.
doi.org/10.1002/asi.20388 · مجله علمی
Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), ص. 991–1000
یافته در مقایسه دنبالکردن لینکها و نقشه سایت روی میلیاردها نشانی در Google، این دو روش مکمل هم بودند. نقشه سایت، صفحههای بدون لینک ورودی و محتوای تازه را زودتر در دسترس قرار میداد.
در ابزار برای همین تست خطهای Sitemap را جداگانه نشان میدهد و کامل بودن نشانی را بررسی میکند. سازنده فایل هم یک خط Sitemap اضافه میکند.
doi.org/10.1145/1526709.1526842 · مقاله کنفرانس
Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), ص. 183–210
یافته مقایسه روشهای متداول تشخیص ربات نشان داد هیچکدام در همه موارد قابل اتکا نیستند. بعضی رباتها رفتار نامناسبی دارند یا فشار زیادی به سرور وارد میکنند.
در ابزار مبنای این محدودیت است که رباتها را نمیتوان قطعی تشخیص داد. قاعده فقط روی خزندههایی اثر میگذارد که نامشان را اعلام کنند و به قاعده پایبند باشند.
doi.org/10.1007/s10618-010-0180-z · مقاله مروری
Kim, T.; Bock, K.; Luo, C. و همکاران (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، ص. 541–557
یافته آزمایش کنترلشده با 130 ربات نامدار طی 40 روز نشان داد رباتها قواعد سختگیرانه را کمتر رعایت میکنند و خزندههای جستوجوی هوش مصنوعی اغلب robots.txt را حتی دریافت نمیکنند.
در ابزار برای همین کنار هر نتیجه «مسدود» توضیح دادهایم که رعایت آن اختیاری است. برای گزینه «مسدودکردن همه» هم محافظت واقعی روی سرور را توصیه کردهایم.
doi.org/10.1145/3730567.3764471 · مقاله کنفرانس
Longpre, S.; Mahari, R.; Lee, A. و همکاران (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، صفحات 108042–108087
یافته بررسی 14,000 دامنه که منبع دادههای آموزش هوش مصنوعی بودند، در طول یک سال افزایش شدید مسدودسازی، تفاوتهای زیاد بین ارائهدهندگان هوش مصنوعی و تناقضهای مکرر بین شرایط استفاده و robots.txt را نشان داد.
در ابزار برای همین خزندههای هوش مصنوعی جداگانه قابل انتخاباند. برای بررسی اینکه خزنده محتوا را برای آموزش میخواند یا نه، به بررسی خزندههای هوش مصنوعی ارجاع دادهایم.
doi.org/10.52202/079017-3431 · مقاله کنفرانس
Liu, E.; Luo, E.; Shan, S. و همکاران (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 78–99
یافته اندازهگیریها و نظرسنجی از 203 هنرمند، نیاز زیادی به robots.txt نشان میدهند. با این حال دانش فنی و دسترسی به سایت موانع رایجاند. مسدودسازی روی پراکسی معکوس مؤثرتر بود.
در ابزار برای همین ساخت فایل برای موارد رایج اصطلاح فنی نمیخواهد و برای مسدودسازی قطعی، هماهنگی با شرکت میزبان توصیه میشود.
doi.org/10.1145/3730567.3732913 · مقاله کنفرانس
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), ص. 29–41
یافته بررسی حدود 4 میلیون دامنه نشان میدهد robots.txt همچنان مهمترین راه اعلام مسیرهای مجاز یا مسدود به خزندههاست. عاملهای هوش مصنوعی بیشتر با خطهای Disallow محدود میشوند.
در ابزار دلیل تمرکز تست بر robots.txt و بررسی شناسههای هوش مصنوعی در کنار موتورهای جستوجو به همین روش است.
doi.org/10.1145/3831956.3831960 · مجله علمی
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، صفحات 197–214
یافته حدود 1.68 درصد سایتها در یک نسخه برداشتشده از Common Crawl، صریحاً دسترسی خزنده را رد کردند؛ این کار اغلب توسط شرکتهای بزرگ هاستینگ و ارائهدهندگان سایتساز انجام شده بود، از مسدودسازی تا نمایش صفحه بررسی امنیتی.
در ابزار مبنای این محدودیت است که حتی اگر robots.txt به خزنده اجازه بدهد، شرکت میزبان یا سیستم مسدودکننده ربات میتواند پیش از آن درخواست را رد کند.
doi.org/10.1007/978-3-031-85960-1_9 · مقاله کنفرانس
استانداردها، نهادهای دولتی و اطلاعات سازندگان
- RFC 9309: پروتکل منع دسترسی رباتها · IETF، سپتامبر 2022
- How Google interprets the robots.txt specification · Google Search Central، تا 23 اکتبر 2026
- Introduction to robots.txt · Google Search Central
- Block Search indexing with noindex · Google Search Central
- A note on unsupported rules in robots.txt · Google Search Central Blog، 2 ژوئیه 2019
- Google common crawlers · Google Search Central
- Google special-case crawlers (AdsBot, Mediapartners) · Google Search Central
- google/robotstxt: تحلیلگر robots.txt در Google (غلط تایپی و Googlebot-Image) · Google، GitHub
- To crawl or not to crawl, that is BingBot’s question · Bing Webmaster Blog، 3 مه 2012
- درباره Applebot · Apple، بهروزرسانی 4 سپتامبر 2026
- DuckDuckBot · DuckDuckGo
- The User-agent directive · Yandex Webmaster
- The Crawl-delay directive · Yandex Webmaster
- WordPress: do_robots() in wp-includes/functions.php · WordPress, GitHub
10 / ابزارهای دیگر
هنوز سؤالی دارید؟
- AT-W42 · کسبوکارها
پیشنمایش نتیجه جستوجو
صفحه شما در Google چطور نمایش داده میشود؟ عنوان و توضیح با عرض پیکسلی، برای دسکتاپ و موبایل. - AT-W43 · کسبوکارها
ساخت Schema
دادههای ساختاریافته برای کسبوکار شما: LocalBusiness، ساعت کاری و FAQ بهصورت JSON-LD برای درج در سایت. - AT-W44 · کسبوکارها
بررسی پروفایل کسبوکار
پروفایل کسبوکار شما در Google کامل است؟ آنچه کم است، به ترتیب اثر. - AT-W45 · کسبوکارها
بررسی NAP
نام، آدرس و شماره تلفن همهجا یکسان نوشته شده است؟ مقایسه ورودیهای دایرکتوریها. - AT-W46 · کسبوکارها
دستهبندی کلمات کلیدی
کدام کلمات جستوجو به هم مربوطاند و جستوجوکننده دنبال چیست؟ فهرستها بر اساس موضوع و هدف جستوجو مرتب میشوند. - AT-W47 · کاربران خانگی و کسبوکارها
بررسی خوانایی متن
متن شما چقدر قابل فهم است؟ شاخص خوانایی برای متن آلمانی، با علامتگذاری جملههای بلند و کلمههای دشوار.
نتیجهای را که کپی کردهاید برای ما بفرستید. robots.txt و نقشه سایتتان را بررسی میکنیم و مشکلهایی را که جلوی دیدهشدن صفحهها در Google را گرفتهاند برطرف میکنیم، در رودویش (Rodewisch) و سراسر فوگتلاند (Vogtland).
+49 3744 4399760[email protected]دوشنبه تا جمعه 8 تا 17 · Straße der Jugend 5, 08228 Rodewisch