ابزار AT-W48REV.‎ 2026-A

تست robots.txt برای بررسی دسترسی Googlebot به صفحه

اجازه دریافت صفحه برای Googlebot را یک خط در robots.txt تعیین می‌کند: طولانی‌ترین قاعده منطبق در گروه همان خزنده. متن فایل و مسیرها یا نشانی‌های کامل را وارد کنید. تست برای Googlebot، Bingbot، GPTBot و بقیه خزنده‌ها نشان می‌دهد کدام مسیر مجاز است، کدام بسته است و کدام خط تعیین‌کننده است. تفاوت رفتار Google با استاندارد را هم مشخص می‌کند.

  • رایگان
  • بدون ثبت‌نام
  • متن در مرورگر می‌ماند

robots.txt را وارد کنید و مسیرها را بررسی کنید

تست · robots.txt بر اساس RFC 9309

بررسی بر اساس RFC 9309 انجام می‌شود و تفاوت‌های مستند عملکرد خزنده‌ها در نظر گرفته می‌شود. اینکه خزنده واقعاً از قواعد پیروی کند، به ارائه‌دهنده آن بستگی دارد.

در مرورگر ihre-firma.de/robots.txt را باز و همه متن را کپی کنید. برای دریافت فایل می‌توانید از بررسی خزنده‌های هوش مصنوعی هم استفاده کنید.

تا 50 مورد. اگر نشانی کامل وارد شود، فقط مسیر و پارامترهای آن بررسی می‌شوند، مثل /shop?sort=preis.‎

کدام خزنده‌ها بررسی شوند؟
موتورهای جست‌وجو · 6
خزنده‌های دیگر Google · 3
خزنده‌های هوش مصنوعی · 24

همان نامی را وارد کنید که ارائه‌دهنده برای robots.txt اعلام کرده است (شناسه محصول)، از رشته کامل شناسه مرورگر استفاده نکنید.

تست در مرورگر انجام می‌شود. متن و نشانی‌ها از دستگاه شما خارج نمی‌شوند.

نتیجه

متن robots.txt و مسیرها را وارد کنید. برای امتحان ابزار، یک نمونه هم هست.

خزنده چطور تصمیم می‌گیرد صفحه را دریافت کند؟

از سپتامبر 2022 این روش در RFC 9309 استاندارد شده است. پیش از آن، از سال 1994 توافقی وجود داشت که خزنده‌های بزرگ با دقت یکسانی رعایتش نمی‌کردند Sun و همکاران 2010. تست مراحل RFC را به‌ترتیب زیر اجرا می‌کند.

  1. فایل. فایل در /robots.txt در پوشه اصلی سایت است و فقط برای همان میزبان، پروتکل و پورت اعتبار دارد. فایل ihre-firma.de برای www.ihre-firma.de یا shop.ihre-firma.de معتبر نیست.
  2. گروه. خزنده دنبال گروهی با نام خودش می‌گردد. بزرگی و کوچکی حروف در نام مهم نیست. چند گروه هم‌نام با هم ترکیب می‌شوند. اگر گروه اختصاصی نباشد، «User-agent: *» معتبر است. بدون آن گروه هم همه مسیرها مجازند.
  3. قاعده. در گروه، طولانی‌ترین خط Allow یا Disallow که با ابتدای مسیر مطابقت داشته باشد اجرا می‌شود. اگر طول برابر باشد، Allow اولویت دارد. ترتیب خط‌ها اثری ندارد.
  4. نویسه‌ها. ستاره جای هر تعداد نویسه می‌نشیند و علامت دلار در انتها، پایان نشانی را نشان می‌دهد. بزرگی و کوچکی حروف در مسیر مهم است. خزنده نویسه‌های اوملات را با کدگذاری درصدی مقایسه می‌کند، پس «/über» و «/%C3%BCber» یکسان‌اند.
  5. استثنا. همه اجازه دارند خود فایل robots.txt را دریافت کنند. خط‌های Sitemap هم مستقل از گروه‌ها معتبرند.
کدام گروه معتبر است؟خزنده/robots.txtاختصاصیگروهوگرنه گروه*وگرنه همهمجازکدام قاعده اجرا می‌شود؟مسیرقواعد منطبقطولانی‌تریناولویت دارد، درتساوی: Allowمجاز یاقفل‌شدهکدام گروه معتبر است؟خزنده/robots.txtگروه اختصاصیوگرنه گروه *وگرنه همه مجازکدام قاعده اجرا می‌شود؟مسیرقواعد منطبقطولانی‌ترین اولویت دارد، در تساویتساوی: Allowمجاز یا مسدود
شکل 1 · خزنده چگونه robots.txt را می‌خواندطلایی = فایل شما · دو سؤال به‌ترتیب

هر الگو با چه مسیرهایی منطبق است؟

نمونه‌هایی که با همان تابع تست محاسبه شده‌اند
الگومنطبق بانامنطبق با
/fisch/fisch, /fisch.html, /fischkopf/rezept/Fisch, /katalog/fisch
/fisch//fisch/, /fisch/?sorte=lachs/fisch, /fisch.html
/*.php/index.php, /ordner/seite.php?id=1/, /seite.PHP
/*.php$/seite.php/seite.php?id=1, /seite.php5
/*?s=/?s=preise, /blog/?s=test/blog/?seite=2

مقایسه همیشه از ابتدای مسیر شروع می‌شود. برای همین /fisch با /katalog/fisch منطبق نیست. اگر الگو باید در هر جای مسیر منطبق شود، قبل از آن ستاره بگذارید.

طولانی‌ترین قاعده اولویت دارد

در نمونه، گروه فروشگاه را مسدود و پیشنهادها را مستثنا می‌کند. برای /shop/angebote/herbst نتیجه «مجاز» است، بر اساس خط 3 «Allow: /shop/angebote/» در گروه «User-agent: *». این قاعده با 15 نویسه طولانی‌ترین قاعده از 2 قاعده منطبق است. مسیر /shop/kasse مسدود است، چون فقط قاعده کوتاه‌تر با آن تطابق دارد.

خزنده‌های تجاری مدت‌ها بعضی قواعد را رعایت نمی‌کردند یا آن‌ها را نادرست تفسیر می‌کردند Giles و همکاران 2010. از زمان انتشار RFC روش محاسبه روشن است، ولی همه خزنده‌ها از آن پیروی نمی‌کنند. تست خط‌هایی را مشخص می‌کند که خزنده‌ها به‌شکل متفاوتی می‌خوانند.

User-agent: *
Disallow: /shop/
Allow: /shop/angebote/

رایج‌ترین اشتباه: گروه‌ها چیزی از هم به ارث نمی‌برند

اگر خزنده گروه اختصاصی داشته باشد، هیچ بخشی از گروه عمومی برایش معتبر نیست. در نمونه، قرار است مسیر /intern/ برای همه مسدود باشد، اما Googlebot گروه جداگانه‌ای برای پیش‌نویس‌ها دارد. برای مسیر /intern/preise، Bingbot مسدود و Googlebot مجاز است. قواعدی را که باید برای همه اجرا شوند در همه گروه‌های نام‌دار هم وارد کنید.

گروه‌های نام‌دار رایج‌اند. در بررسی اولیه 2925 فایل robots.txt، موتورهای جست‌وجوی بزرگ معمولاً از طریق گروه‌های اختصاصی دسترسی بیشتری از بقیه داشتند Sun و همکاران 2007b. در بررسی بعدی حدود 6 میلیون سایت، امتیاز قابل‌توجهی برای موتور خاصی دیده نشد Kolay و همکاران 2008. تست برای هر خزنده انتخاب‌شده، گروه معتبر را نشان می‌دهد. در نمای کلی هم می‌بینید هر گروه برای چه خزنده‌هایی معتبر است.

User-agent: *
Disallow: /intern/

User-agent: Googlebot
Disallow: /entwurf/

Google کجا robots.txt را متفاوت از استاندارد می‌خواند؟

Google در تدوین RFC مشارکت داشته و از اصول آن پیروی می‌کند. در بعضی موارد، تحلیلگر Google سخت‌گیرتر یا آسان‌گیرتر است و مستنداتش جزئیاتی را مشخص می‌کند که RFC باز گذاشته است. تست طبق RFC محاسبه می‌کند و این تفاوت‌ها را نشان می‌دهد تا بتوانید فایلی تهیه کنید که برای همه خزنده‌ها یکسان عمل کند.

مقایسه RFC 9309 و Google، مستندات Google تا 23 اکتبر 2026
موضوعRFC 9309Google
حجم فایلخواندن حداقل 500 KiBحداکثر 500 KiB، بقیه نادیده گرفته می‌شود
حافظه موقتحداکثر 24 ساعت، مگر آنکه فایل در دسترس نباشدمعمولاً تا 24 ساعت، در صورت ناموفق‌بودن دریافت نسخه تازه بیشتر
تغییر مسیرحداقل پنج تغییر مسیر دنبال می‌شودحداقل پنج تغییر مسیر؛ پس از آن مانند 404
404 و سایر کدهای 4xxrobots.txt وجود ندارد، همه‌چیز مجاز استهمان رفتار، به‌جز 429
5xx یا خارج از دسترسهمه مسیرها مسدود؛ بعد از مدت طولانی (مثلاً 30 روز)، مانند فایل ناموجود یا با استفاده از نسخه ذخیره‌شده12 ساعت بدون خزیدن، سپس تا 30 روز استفاده از آخرین نسخه سالم (اگر نسخه‌ای نباشد، بدون محدودیت). پس از آن، اگر بقیه سایت در دسترس باشد، مانند حالت بدون فایل رفتار می‌شود.
دستورهاuser-agent، allow و disallow؛ خزنده می‌تواند خط‌های دیگر مانند sitemap را هم تفسیر کندفقط user-agent، allow، disallow و sitemap.‎ دستورهای noindex، nofollow و crawl-delay از 1 سپتامبر 2019 اثری ندارند.
غلط تایپی، دونقطه جاافتادهخط نادیده گرفته می‌شودتحلیلگر Google بعضی غلط‌های تایپی مانند «Disalow» و خط‌های بدون دونقطه را هم می‌خواند
نام با پسوندنام‌ها فقط از حرف، - و _ تشکیل می‌شوند«googlebot/1.2» و «googlebot*» به‌عنوان «googlebot» شناخته می‌شوند
حروف اوملات و نویسه‌های ویژهپیش از مقایسه به‌صورت درصدی کدگذاری کنیدمقایسه در قالب کدگذاری درصدی
Sitemapخزنده مجاز به تفسیر آن استنشانی کامل با پروتکل و میزبان؛ می‌تواند روی میزبان دیگری باشد

منابع: RFC 9309، مستندات Google درباره robots.txt (تا 23 اکتبر 2026)، وبلاگ Google در 2 ژوئیه 2019 و تحلیلگر Google. بررسی در 14 نوامبر 2026.

موتورهای جست‌وجوی دیگر هم رفتارهای خاصی دارند. Bing از Crawl-delay پیروی می‌کند و اگر گروه اختصاصی bingbot نباشد، گروه msnbot را می‌خواند. Yandex از 22 فوریه 2018 دیگر Crawl-delay را اجرا نمی‌کند و برای همه ربات‌های خود گروه «User-agent: Yandex» را دارد. خزنده Apple بدون گروه اختصاصی از گروه Googlebot پیروی می‌کند. خزنده‌های تبلیغاتی Google گروه عمومی را نادیده می‌گیرند. جدول پایین نشان می‌دهد ابزار کدام رفتارها را در نظر می‌گیرد.

چه نام‌هایی را در robots.txt بنویسیم؟

در خط User-agent، شناسه محصول را بنویسید. این همان نام کوتاهی است که ارائه‌دهنده برای robots.txt اعلام کرده، مثل «Googlebot». رشته کامل نام خزنده از گزارش سرور لازم نیست. فهرست ابزار فقط نام‌های مستند ارائه‌دهنده را دارد و رفتارهای ویژه را در صورت مستند بودن در نظر می‌گیرد.

موتورهای جست‌وجو و خزنده‌های Google، بر اساس مستندات ارائه‌دهندگان در 14 نوامبر 2026
نام در robots.txtارائه‌دهندهبرای چهویژگی
GooglebotGoogleجست‌وجوی Google، با خلاصه‌های هوش مصنوعیبدون گروه اختصاصی، «*» معتبر است.
Googlebot-ImageGoogleجست‌وجوی تصاویر Googleبدون گروه اختصاصی، از گروه Googlebot پیروی می‌کند.
bingbotMicrosoftBing und Copilotاگر گروه اختصاصی نداشته باشد، ابتدا از گروه msnbot و سپس از «*» پیروی می‌کند. Crawl-delay را اجرا می‌کند.
ApplebotAppleSiri, Spotlight, Safariبدون گروه اختصاصی، از گروه Googlebot پیروی می‌کند.
DuckDuckBotDuckDuckGoفهرست نتایج خود DuckDuckGoبدون گروه اختصاصی، «*» معتبر است.
YandexBotYandexجست‌وجوی Yandexبدون گروه اختصاصی، از گروه Yandex پیروی می‌کند. Crawl-delay از فوریه 2018 اثری ندارد.
Storebot-GoogleGoogleGoogle ShoppingGoogle گروه جایگزین مستند نکرده است. تست طبق RFC 9309 از «*» استفاده می‌کند.
AdsBot-GoogleGoogleصفحه‌های مقصد تبلیغات Google Ads را بررسی می‌کندگروه «*» را نادیده می‌گیرد. فقط با گروه اختصاصی می‌توانید آن را مسدود کنید.
Mediapartners-GoogleGoogleAdSense und Ad Managerگروه «*» را نادیده می‌گیرد. فقط با گروه اختصاصی می‌توانید آن را مسدود کنید.

علاوه بر این، 24 شناسه از ارائه‌دهندگان هوش مصنوعی در فهرست است، از جمله GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot و Claude-User.‎ از 2023 به این سو، سایت‌ها ارائه‌دهندگان هوش مصنوعی را بیشتر و به روش‌های گوناگون مسدود می‌کنند. شرایط استفاده و robots.txt در این موارد اغلب با هم تناقض دارند Longpre و همکاران 2024. بررسی حدود 4 میلیون دامنه نشان می‌دهد robots.txt همچنان مهم‌ترین روش است و عامل‌های هوش مصنوعی اغلب با Disallow محدود می‌شوند Hoffmann و همکاران 2026. بررسی خزنده‌های هوش مصنوعی توضیح می‌دهد هر خزنده برای چه منظوری می‌خواند و فایل واقعی robots.txt شما را هم دریافت می‌کند.

ساخت robots.txt برای موارد رایج

افرادی که به robots.txt نیاز دارند معمولاً نمی‌خواهند اصطلاحات فنی یاد بگیرند. در نظرسنجی از 203 هنرمند، افراد زیادی این فایل را می‌خواستند، اما اغلب دانش لازم یا دسترسی به سایتشان را نداشتند Liu و همکاران 2025. برای همین ابزار فقط می‌پرسد خزنده‌ها چه چیزهایی را بخوانند و خط‌های ساده Allow و Disallow می‌سازد. با دکمه «بررسی در تست»، متن در بخش تست بالا قرار می‌گیرد.

ساخت فایل · robots.txt برای موارد رایج

robots.txt فقط قواعد خزیدن را مشخص می‌کند. این فایل عمومی است و از داده‌ها محافظت نمی‌کند. همچنین صفحه‌ها را از فهرست Google حذف نمی‌کند. اگر صفحه‌های دیگری به نشانی بسته لینک دهند، ممکن است آن نشانی بدون توضیح در نتایج دیده شود.

خزنده‌ها اجازه خواندن چه بخش‌هایی را داشته باشند؟
کدام بخش‌ها مسدود شوند؟

اگر در انتهای مسیر اسلش باشد، قاعده فقط همان پوشه را مسدود می‌کند. بدون اسلش، /intern با /internes-handbuch هم منطبق می‌شود.

برای هر نام دو خط ساخته می‌شود، برای ?name= و &name=. به این ترتیب «sort» با «resort» تطابق ندارد.

نشانی با https:// و دامنه لازم است. در غیر این صورت خط ساخته نمی‌شود.

# robots.txt, erstellt mit dem robots.txt-Tester von aureum-tech.com (Stand 14. November 2026)
# Regelt nur das Crawlen. Schützt keine Daten und nimmt keine Seite aus dem Google-Index.
User-agent: *
Disallow:

ابزار ساخت فایل در مرورگر کار می‌کند و چیزی نمی‌فرستد. فایل را با نام robots.txt در پوشه اصلی قرار دهید. هر زیردامنه فایل جداگانه‌ای دارد.

خط Sitemap تقریباً همیشه مفید است. دنبال‌کردن لینک‌ها و نقشه سایت مکمل هم‌اند. در بررسی میلیاردها نشانی در Google، صفحه‌های بدون لینک ورودی و محتوای تازه به کمک نقشه سایت زودتر دیده شدند Schonfeld und Shivakumar 2009. این خط به نشانی کامل نیاز دارد و برای همه گروه‌ها معتبر است.

کارهایی که robots.txt انجام نمی‌دهد

  • صفحه را از فهرست حذف نمی‌کند. طبق Google، robots.txt راهی برای جلوگیری از نمایش صفحه در نتایج نیست. اگر یک نشانی مسدود شده اما صفحه‌های دیگر به آن لینک دهند، ممکن است بدون توضیح در نتایج ظاهر شود. ابزار حذف، noindex است و Google فقط در صورتی آن را می‌بیند که بتواند صفحه را بخواند.
  • از اطلاعات محافظت نمی‌کند. فایل عمومی است و مسیرهای مسدود را فهرست می‌کند. RFC صریحاً می‌گوید این فایل جای کنترل دسترسی را نمی‌گیرد. رعایت قواعد به تصمیم ارائه‌دهنده خزنده بستگی دارد Thelwall und Stuart 2006. بخش محرمانه را با رمز عبور محافظت کنید.
  • رعایت آن اختیاری است. نخستین بررسی‌های بزرگ این فایل را مجموعه قواعدی توصیف کردند که خزنده‌های مسئولیت‌پذیر رعایت می‌کنند و ضمانت اجرایی ندارد Sun و همکاران 2007a. در آزمایش روی 130 ربات نام‌دار طی 40 روز، ربات‌ها قواعد سخت‌گیرانه‌تر را کمتر رعایت می‌کردند و خزنده‌های جست‌وجوی هوش مصنوعی اغلب فایل را حتی دریافت نمی‌کردند Kim و همکاران 2025.
  • قواعد بر اساس نام اجرا می‌شوند. هیچ‌یک از روش‌های معمول تشخیص ربات، در همه موارد قابل اتکا نیست Doran und Gokhale 2011. اگر خزنده خودش را با نام دیگری معرفی کند، قاعده مربوط به نام واقعی‌اش برایش اجرا نمی‌شود.
  • مسدودسازی قطعی روی سرور انجام می‌شود. محدودیت در پراکسی معکوس (Reverse Proxy) در برابر خزنده‌های هوش مصنوعی از robots.txt مؤثرتر بود Liu و همکاران 2025. بعضی میزبان‌ها و سایت‌سازها هم پیش از آنکه robots.txt اثری داشته باشد خزنده‌ها را رد می‌کنند. در یک مجموعه داده Common Crawl، این موضوع درباره حدود 1.68 درصد سایت‌ها دیده شد Ansar و همکاران 2025. در این حالت خط Allow هم کمکی نمی‌کند.
  • تست بر اساس متن واردشده کار می‌کند. اینکه سرور دقیقاً همین فایل را به‌صورت متن و با وضعیت 200 ارائه می‌دهد یا نه، با درخواست واقعی در بررسی خزنده‌های هوش مصنوعی مشخص می‌شود.

تست به یک سؤال مقدماتی جواب می‌دهد. بررسی سریع SpotLens مشخص می‌کند که صفحه‌های شما در Google هستند یا چه مشکلی جلوی نمایششان را گرفته است. مراحل بررسی شخصی در راهنمای سایت در Google پیدا نمی‌شود آمده‌اند. در بخش سئو می‌گوییم چگونه به دیده‌شدن سایت‌ها در رودویش (Rodewisch) و فوگتلاند (Vogtland) کمک می‌کنیم. ابزارهای بیشتر را در سئو و دیده‌شدن پیدا می‌کنید.

استفاده از این ابزار از طریق دستیار هوش مصنوعی

دستیارهایی مثل Claude یا ChatGPT که با Model Context Protocol (MCP) کار می‌کنند، می‌توانند محاسبه این صفحه را مستقیم فراخوانی کنند، به‌جای آنکه خودشان آن را بازسازی کنند. سرور عمومی است، ثبت‌نام لازم ندارد و چیزی ذخیره نمی‌کند. پاسخ همیشه لینک این صفحه، تاریخ به‌روزرسانی داده‌ها و محدودیت‌های نتیجه را در بر دارد.

نقطه اتصال
https://aureum-tech.com/mcp
ابزار
werkzeug_robots_txt_tester
پروتکل انتقال
Streamable HTTP، فقط خواندنی
ورودی‌ها
نامالزامیمعنی
robots_txtبلهمتن کامل robots.txt، همان‌طور که در مسیر /robots.txt ارائه می‌شود.
pfadeنهتا 50 مسیر یا نشانی وب کامل، مثلاً «/kontakt» یا «https://www.firma.de/blog?seite=2». برای نشانی وب فقط مسیر و پارامترها بررسی می‌شوند. پیش‌فرض «/» است.
crawlerنهشناسه محصول خزنده‌ها، مثلاً Googlebot، bingbot یا GPTBot.‎ «*» برای هر خزنده بدون گروه اختصاصی است. موارد شناخته‌شده: Googlebot، Googlebot-Image، bingbot، Applebot، DuckDuckBot، YandexBot، Storebot-Google، AdsBot-Google، Mediapartners-Google، GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot، Claude-User، Google-Extended، Google-Agent، PerplexityBot، Perplexity-User، Applebot-Extended، meta-externalagent، meta-webindexer، meta-externalfetcher، Amazonbot، Amzn-SearchBot، Amzn-User، MistralAI-Training، MistralAI-Index، MistralAI-User، DuckAssistBot، YouBot، CCBot، Bytespider، *. نام‌های دیگر طبق RFC 9309 بررسی می‌شوند. پیش‌فرض: Googlebot، bingbot، GPTBot، ClaudeBot، *.

پرسش‌هایی که دستیار باید برایشان این ابزار را فراخوانی کند

  • «با این robots.txt، آیا Googlebot اجازه دریافت /wp-admin/admin-ajax.php را دارد؟»
  • «چرا قاعده مسدودکننده من در «User-agent: *» برای GPTBot اجرا نمی‌شود؟»
  • «کدام خط robots.txt من دسترسی Bingbot به https://www.firma.de/shop?sort=preis را مسدود می‌کند؟»
  • «آیا «Disalow: /intern/» در robots.txt اشتباه است و Google با این حال خط را می‌خواند؟»

اینکه اتصال چطور کار می‌کند و MCP در کسب‌وکار شما چه کاری از پیش می‌برد، در صفحه یکپارچه‌سازی با MCP آمده است.

پرسش‌های رایج درباره robots.txt

آیا «Disallow» صفحه را از فهرست Google حذف می‌کند؟

نه. Disallow فقط دریافت صفحه را ممنوع می‌کند. اگر صفحه‌های دیگر به نشانی آن لینک بدهند، ممکن است Google همچنان آن را بدون توضیح در نتایج نشان دهد. برای حذف صفحه، Google باید اجازه خواندنش را داشته باشد و دستور noindex را در تگ متا یا X-Robots-Tag پیدا کند. راه دیگر این است که سرور برای آن صفحه پاسخ 404 یا 410 بدهد یا صفحه با رمز عبور محافظت شود. اگر همزمان خزیدن را مسدود کنید و noindex بگذارید، Google هیچ‌وقت noindex را نمی‌بیند.

چرا قاعده مسدودکننده «User-agent: *» برای Googlebot اجرا نمی‌شود؟

چون گروه جداگانه‌ای برای Googlebot وجود دارد. هر خزنده اول از گروهی پیروی می‌کند که با نام خودش مشخص شده است. گروه عمومی «*» فقط وقتی معتبر است که خزنده گروه جداگانه نداشته باشد. مسیری که در گروه عمومی بسته‌اید باید در هر گروه نام‌دار هم بسته شود. تست در هر نتیجه نشان می‌دهد کدام گروه معتبر است.

اگر Allow و Disallow هر دو با یک مسیر تطابق داشته باشند، کدام اجرا می‌شود؟

قاعده‌ای که تعداد نویسه بیشتری دارد. اگر طول دو قاعده برابر باشد، Allow اجرا می‌شود. ترتیب خط‌ها در فایل اثری ندارد. مثلاً با «Disallow: /shop/» و «Allow: /shop/angebote/»، مسیر /shop/angebote/ باز می‌ماند و بقیه فروشگاه بسته است.

تغییر robots.txt چقدر طول می‌کشد تا در Google اثر کند؟

Google معمولاً فایل را تا 24 ساعت در حافظه موقت نگه می‌دارد. اگر دریافت نسخه تازه به مشکل بخورد، ممکن است این زمان بیشتر شود. تا آن موقع قواعد قبلی اجرا می‌شوند. برای همین، بهتر است تغییر را اول اینجا تست کنید و بعد فایل را روی سرور بگذارید.

می‌توانم بخش‌های محرمانه را با robots.txt محافظت کنم؟

نه. فایل عمومی است، هر کسی می‌تواند آن را باز کند و حتی مسیرهای بسته را نشان می‌دهد. استاندارد هم همین را می‌گوید: این فایل برای کنترل دسترسی نیست. محتوای محرمانه را با ورود به حساب کاربری یا رمز عبور روی سرور محافظت کنید.

Google دستورهای Crawl-delay و Noindex را در robots.txt اجرا می‌کند؟

نه. Google فقط user-agent، allow، disallow و sitemap را می‌خواند. از 1 سپتامبر 2019، دستورهای Noindex، nofollow و crawl-delay در robots.txt روی Google اثری ندارند. Bing از Crawl-delay پیروی می‌کند. Yandex از فوریه 2018 دیگر آن را اجرا نمی‌کند و Applebot هم آن را نادیده می‌گیرد. تست چنین خط‌هایی را مشخص می‌کند.

محدودیت‌های تست robots.txt چیست؟

این ابزار متن واردشده را بر اساس RFC 9309 و رفتار مستند خزنده‌ها بررسی می‌کند. بررسی خزنده‌های هوش مصنوعی با یک درخواست واقعی نشان می‌دهد که آیا سرور شما دقیقاً همین فایل را می‌فرستد یا نه. بررسی سریع SpotLens هم نشان می‌دهد که صفحه‌ها در فهرست نتایج هستند یا چه چیزی جلوی ثبتشان را گرفته است. اگر بخواهید، علت دیده‌نشدن صفحه‌ها در Google را برطرف می‌کنیم.

این ابزار بر چه پایه‌ای است

مقادیر و راهنمایی‌های بالا بر این 13 پژوهش علمی تکیه دارند. هرکدام از راه DOI یا صفحه ناشر بررسی شده‌اند (آخرین بررسی در 14 نوامبر 2026). مقاله‌ها در دسترس‌اند، پس گرفته نشده‌اند و یافته‌هایشان هنوز برای این سؤال کاربرد دارند.

  1. Sun, Y.; Zhuang, Z.; Giles, C.‎ L.‎ (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007)، ص. 1123–1124

    یافته پنج بررسی متوالی روی 7593 سایت نشان دادند که استفاده از robots.txt رواج بیشتری پیدا کرده است. فایل ضمانت اجرایی ندارد و این خزنده‌های مسئولیت‌پذیر هستند که قواعدش را رعایت می‌کنند.

    در ابزار مبنای هشدار بالای هر نتیجه است: robots.txt یک درخواست است، نه قفل.

  2. Sun, Y.; Zhuang, Z.; Councill, I.‎ G.; Giles, C.‎ L.‎ (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), ص. 149–155

    یافته در 2925 فایل robots.txt، موتورهای جست‌وجوی بزرگ اغلب از طریق گروه اختصاصی دسترسی بیشتری داشتند. این تفاوت ارتباط زیادی با سهم بازار داشت.

    در ابزار به همین دلیل تست چند خزنده را کنار هم مقایسه می‌کند و نشان می‌دهد کدام گروه برای هر خزنده معتبر است. تفاوت‌ها از گروه‌های اختصاصی می‌آیند.

  3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A.‎ (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), ص. 1171–1172

    یافته در بررسی حدود 6 میلیون سایت، برخلاف مطالعه کوچک‌تر سال 2007، امتیاز قابل‌توجهی برای موتور جست‌وجوی خاصی دیده نشد.

    در ابزار در متن توضیح می‌دهیم که یافته‌ها درباره امتیازدهی بسته به نمونه متفاوت‌اند. به همین دلیل تست به نمایش گروه معتبر برای هر خزنده اکتفا می‌کند.

  4. Giles, C.‎ L.; Sun, Y.; Councill, I.‎ G.‎ (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010)، ص. 1101–1102

    یافته بیشتر خزنده‌های تجاری مطابق قواعد رفتار می‌کردند، اما بسیاری از آن‌ها بعضی قواعد robots.txt را بارها نقض می‌کردند یا اشتباه می‌فهمیدند.

    در ابزار تست خط‌هایی را که خزنده‌ها به‌شکل متفاوتی می‌خوانند مشخص می‌کند و سازنده فایل فقط خط‌های ساده Allow و Disallow می‌نویسد.

  5. Sun, Y.; Councill, I.‎ G.; Giles, C.‎ L.‎ (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), ص. 668–675

    یافته رفتار شمار زیادی خزنده را روی صفحه‌های آزمایشی سنجیدند که هرکدام قاعده متفاوتی در robots.txt داشتند. میزان رعایت قواعد به‌شدت متفاوت بود و بسیاری از خزنده‌های تجاری بعضی قواعد را مرتب نقض می‌کردند.

    در ابزار مبنای توضیح تفاوت قاعده و رفتار واقعی است. اینکه خزنده از قاعده پیروی کرده یا نه، در گزارش سرور مشخص می‌شود.

  6. Thelwall, M.; Stuart, D.‎ (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), ص. 1771–1779

    یافته مقاله پیامدهای خزیدن برای دارندگان سایت را از نظر هزینه، حریم خصوصی و اضافه‌بار بررسی می‌کند. متصدی خزنده باید جداگانه درباره قابل قبول بودن هر مورد تصمیم بگیرد.

    در ابزار مبنای توصیه به محافظت از بخش‌های محرمانه با رمز عبور به‌جای تکیه بر یک خط Disallow است.

  7. Schonfeld, U.; Shivakumar, N.‎ (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), ص. 991–1000

    یافته در مقایسه دنبال‌کردن لینک‌ها و نقشه سایت روی میلیاردها نشانی در Google، این دو روش مکمل هم بودند. نقشه سایت، صفحه‌های بدون لینک ورودی و محتوای تازه را زودتر در دسترس قرار می‌داد.

    در ابزار برای همین تست خط‌های Sitemap را جداگانه نشان می‌دهد و کامل بودن نشانی را بررسی می‌کند. سازنده فایل هم یک خط Sitemap اضافه می‌کند.

  8. Doran, D.; Gokhale, S.‎ S.‎ (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), ص. 183–210

    یافته مقایسه روش‌های متداول تشخیص ربات نشان داد هیچ‌کدام در همه موارد قابل اتکا نیستند. بعضی ربات‌ها رفتار نامناسبی دارند یا فشار زیادی به سرور وارد می‌کنند.

    در ابزار مبنای این محدودیت است که ربات‌ها را نمی‌توان قطعی تشخیص داد. قاعده فقط روی خزنده‌هایی اثر می‌گذارد که نامشان را اعلام کنند و به قاعده پایبند باشند.

  9. Kim, T.; Bock, K.; Luo, C.‎ و همکاران (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، ص. 541–557

    یافته آزمایش کنترل‌شده با 130 ربات نام‌دار طی 40 روز نشان داد ربات‌ها قواعد سخت‌گیرانه را کمتر رعایت می‌کنند و خزنده‌های جست‌وجوی هوش مصنوعی اغلب robots.txt را حتی دریافت نمی‌کنند.

    در ابزار برای همین کنار هر نتیجه «مسدود» توضیح داده‌ایم که رعایت آن اختیاری است. برای گزینه «مسدودکردن همه» هم محافظت واقعی روی سرور را توصیه کرده‌ایم.

  10. Longpre, S.; Mahari, R.; Lee, A.‎ و همکاران (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، صفحات 108042–108087

    یافته بررسی 14,000 دامنه که منبع داده‌های آموزش هوش مصنوعی بودند، در طول یک سال افزایش شدید مسدودسازی، تفاوت‌های زیاد بین ارائه‌دهندگان هوش مصنوعی و تناقض‌های مکرر بین شرایط استفاده و robots.txt را نشان داد.

    در ابزار برای همین خزنده‌های هوش مصنوعی جداگانه قابل انتخاب‌اند. برای بررسی اینکه خزنده محتوا را برای آموزش می‌خواند یا نه، به بررسی خزنده‌های هوش مصنوعی ارجاع داده‌ایم.

  11. Liu, E.; Luo, E.; Shan, S.‎ و همکاران (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 78–99

    یافته اندازه‌گیری‌ها و نظرسنجی از 203 هنرمند، نیاز زیادی به robots.txt نشان می‌دهند. با این حال دانش فنی و دسترسی به سایت موانع رایج‌اند. مسدودسازی روی پراکسی معکوس مؤثرتر بود.

    در ابزار برای همین ساخت فایل برای موارد رایج اصطلاح فنی نمی‌خواهد و برای مسدودسازی قطعی، هماهنگی با شرکت میزبان توصیه می‌شود.

  12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V.‎ (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), ص. 29–41

    یافته بررسی حدود 4 میلیون دامنه نشان می‌دهد robots.txt همچنان مهم‌ترین راه اعلام مسیرهای مجاز یا مسدود به خزنده‌هاست. عامل‌های هوش مصنوعی بیشتر با خط‌های Disallow محدود می‌شوند.

    در ابزار دلیل تمرکز تست بر robots.txt و بررسی شناسه‌های هوش مصنوعی در کنار موتورهای جست‌وجو به همین روش است.

  13. Ansar, M.; Sperotto, A.; Holz, R.‎ (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، صفحات 197–214

    یافته حدود 1.68 درصد سایت‌ها در یک نسخه برداشت‌شده از Common Crawl، صریحاً دسترسی خزنده را رد کردند؛ این کار اغلب توسط شرکت‌های بزرگ هاستینگ و ارائه‌دهندگان سایت‌ساز انجام شده بود، از مسدودسازی تا نمایش صفحه بررسی امنیتی.

    در ابزار مبنای این محدودیت است که حتی اگر robots.txt به خزنده اجازه بدهد، شرکت میزبان یا سیستم مسدودکننده ربات می‌تواند پیش از آن درخواست را رد کند.

استانداردها، نهادهای دولتی و اطلاعات سازندگان

هنوز سؤالی دارید؟

دیدن همه 10 ابزار سئو

دوشنبه تا جمعه، 8 تا 17

نتیجه‌ای را که کپی کرده‌اید برای ما بفرستید. robots.txt و نقشه سایتتان را بررسی می‌کنیم و مشکل‌هایی را که جلوی دیده‌شدن صفحه‌ها در Google را گرفته‌اند برطرف می‌کنیم، در رودویش (Rodewisch) و سراسر فوگتلاند (Vogtland).

+49 3744 4399760[email protected]

دوشنبه تا جمعه 8 تا 17 · Straße der Jugend 5, 08228 Rodewisch

درخواست بررسی robots.txt
+49 3744 4399760دوشنبه تا جمعه، 8 تا 17
زنگ بزنیددرخواست تماس

فهرست قطعات · برگ 1/1

این صفحه از چه ساخته شده است

این مقادیر هنگام ساخت سایت اندازه‌گیری شده‌اند؛ اگر JavaScript فعال باشد، مرورگر شما همین حالا دوباره اندازه می‌گیرد.

ردیفقطعهنوعحجم
01index.htmlسند≈ 29 kB
02styles.cssاستایل‌شیت≈ 20 kB
03scripts.jsاسکریپت≈ 13 kB
04archivo-variable.woff2فونت≈ 58 kB
05ibm-plex-mono.woff2فونت≈ 30 kB
06favicon.svgگرافیک< 1 kB

کوکی تبلیغاتی یا آماری: نداریم. بدون رضایت شما، این سایت چیزی از سرورهای دیگران بارگذاری نمی‌کند، جز از Cloudflare که سایت را به دست شما می‌رساند؛ فونت‌ها، اسکریپت‌ها و تصویرها روی سرور خود ماست. IT شما را هم همین‌طور می‌سازیم.

خارج از ساعت کاری

باز هم با خیال راحت زنگ بزنید

طبق روال، دوشنبه تا جمعه از 8 تا 17 در دفتریم.

عصرها و آخر هفته هم تماس‌های این شماره به ما وصل می‌شود و اغلب کسی جواب می‌دهد. ولی قولش را نمی‌توانیم بدهیم.

اگر کسی جواب نداد، پیام کوتاهی روی پیام‌گیر بگذارید: نام، شماره و موضوع. در اولین فرصت با شما تماس می‌گیریم، حداکثر تا روز کاری بعد.

خود تماس هزینه‌ای ندارد. اگر لازم باشد خارج از ساعت کاری فوراً کسی دست به کار شود، هزینه اضافه درج‌شده در فهرست قیمت‌ها حساب می‌شود.

همین حالا زنگ بزنید+49 3744 4399760

ترجیح می‌دهید بنویسید؟ از فرم تماس استفاده کنید یا به [email protected] ایمیل بزنید. پیامتان را روز کاری بعد می‌خوانیم.

عیب‌یابی · AT-K2

چه پیش آمده؟

↵ انتخابESC بستنتماس: ‎+49 3744 4399760

تنظیمات دلخواه

کدام سرویس‌ها اجازه بارگذاری دارند؟

از نظر فنی ضروری

انتخابی که اینجا می‌کنید و تنظیمات رنگ‌بندی و حرکت. این اطلاعات به‌صورت چند ورودی کوچک روی دستگاه خودتان می‌ماند و هرگز به هیچ سروری فرستاده نمی‌شود. برای کارکرد سایت لازم است و برای همین نمی‌توان آن را غیرفعال کرد.