ابزار AT-W48REV.‎ 2026-A

آزمایش robots.txt: آیا Googlebot اجازۀ خواندن این صفحه را دارد؟

گرفتن یک صفحه توسط Googlebot به یک سطر در robots.txt بستگی دارد: طولانی‌ترین قاعدۀ سازگار در گروه همان ربات. فایل را بچسپانید و مسیرها یا آدرس‌های کامل را وارد کنید. تستر برای Googlebot، Bingbot، GPTBot و ربات‌های دیگر نشان می‌دهد که مسیر باز است یا بسته و کدام سطر آن را تعیین می‌کند. همچنان نشان می‌دهد Google در کجا متن را متفاوت از معیار می‌خواند.

  • رایگان
  • بدون ثبت نام
  • متن در براوزر می‌ماند

متن robots.txt را بچسپانید و مسیرها را یک‌به‌یک بررسی کنید

تستر · robots.txt طبق RFC 9309

بررسی بر اساس RFC 9309 انجام می‌شود و رفتارهای مستند هر ربات را هم در نظر می‌گیرد. مسئول ربات تصمیم می‌گیرد که به این قواعد عمل کند یا نه.

آدرس ihre-firma.de/robots.txt را در براوزر باز کنید و تمام متن را کاپی کنید. فایل را از طریق بررسی ربات‌های هوش مصنوعی هم گرفته می‌توانید.

حداکثر 50 مورد. در آدرس‌های کامل، مسیر و پارامترها حساب می‌شوند، مثلاً /shop?sort=preis.‎

کدام ربات‌ها بررسی شوند؟
موتورهای جستجو · 6
ربات‌های دیگر Google · 3
ربات‌های هوش مصنوعی · 24

نامی را وارد کنید که مسئول ربات برای robots.txt اعلام کرده است (توکن محصول)، نه شناسۀ کامل براوزر.

تستر در براوزر کار می‌کند. متن و آدرس‌ها در دستگاه شما می‌مانند.

نتیجه

متن robots.txt را بچسپانید و مسیرها را وارد کنید. برای امتحان کردن می‌توانید مثال را باز کنید.

ربات چطور تصمیم می‌گیرد یک صفحه را بگیرد؟

این روش از سپتمبر 2022 در RFC 9309 ثبت شده است. پیش از آن، توافقی از سال 1994 بود که ربات‌های بزرگ هرکدام به اندازۀ متفاوتی آن را رعایت می‌کردند Sun و همکاران 2010. تستر طبق RFC و به‌ترتیب زیر بررسی می‌کند:

  1. فایل. این فایل به آدرس /robots.txt در پوشۀ اصلی است و تنها برای همان میزبان با همان پروتکل و پورت اعتبار دارد. فایل ihre-firma.de برای www.ihre-firma.de یا shop.ihre-firma.de اعتبار ندارد.
  2. گروه. ربات گروهی را پیدا می‌کند که نام خودش را دارد. حروف بزرگ و کوچک در نام فرق ندارد. اگر چند گروه با همان نام باشند، یک‌جا حساب می‌شوند. اگر گروه نام‌دار نباشد، «User-agent: *» اعتبار دارد. اگر آن هم نباشد، همه‌چیز باز است.
  3. قاعده. از سطرهای Allow و Disallow که با شروع مسیر جور می‌آیند، طولانی‌ترین سطر اعتبار دارد. در صورت طول برابر، Allow تعیین‌کننده است. ترتیب سطرها فرق ندارد.
  4. نویسه‌ها. ستاره جای هر تعداد نویسه می‌آید. علامت دالر در آخر، پایان آدرس را مشخص می‌کند. حروف بزرگ و کوچک در مسیر فرق دارند. ربات حروفی مانند اوملاوت را با کودگذاری فیصدی مقایسه می‌کند، پس «/über» و «/%C3%BCber» یکسان‌اند.
  5. استثنا. گرفتن خود فایل robots.txt برای همه مجاز است. سطرهای Sitemap جدا از گروه‌ها اعتبار دارند.
کدام گروه؟ربات خزنده/robots.txtگروه خودشگروپیا گروه*وگرنه همهبازکدام قاعده؟مسیرقواعد سازگارطولانی‌تریناعتبار دارد؛ برابر:اگر طول برابر: Allowباز یاقفل‌شدهکدام گروه؟ربات خزنده/robots.txtگروه خودشیا گروه *وگرنه همه باز استکدام قاعده؟مسیرقواعد سازگارطولانی‌ترین؛ اگر برابراگر طول برابر: Allowباز یا بسته
شکل 1 · ربات چطور robots.txt را می‌خواندنقطۀ طلایی فایل شماست · دو سوال که به‌ترتیب پاسخ داده می‌شوند

یک الگو با کدام مسیرها جور می‌آید؟

مثال‌ها با همان تابع تستر بررسی شده‌اند
الگوجور می‌آیدجور نمی‌آید
/fisch/fisch, /fisch.html, /fischkopf/rezept/Fisch, /katalog/fisch
/fisch//fisch/, /fisch/?sorte=lachs/fisch, /fisch.html
/*.php/index.php, /ordner/seite.php?id=1/, /seite.PHP
/*.php$/seite.php/seite.php?id=1, /seite.php5
/*?s=/?s=preise, /blog/?s=test/blog/?seite=2

مقایسه همیشه از شروع مسیر انجام می‌شود، به همین دلیل /fisch با /katalog/fisch جور نمی‌آید. اگر منظور هرجای مسیر باشد، در اول الگو یک ستاره بگذارید.

طولانی‌ترین قاعده اعتبار دارد

در مثال، گروه فروشگاه را می‌بندد اما بخش پیشنهادها را باز می‌گذارد. برای /shop/angebote/herbst، تستر نشان می‌دهد که سطر 3، «Allow: /shop/angebote/»، در گروه «User-agent: *» مسیر را باز می‌گذارد. این قاعده با 15 نویسه، طولانی‌ترین قاعده از 2 قاعدۀ سازگار است. /shop/kasse بسته است، چون صرف قاعدۀ کوتاه‌تر با آن جور می‌آید.

ربات‌های تجارتی برای مدت طولانی بعضی قواعد را پیهم نقض می‌کردند یا اشتباه می‌فهمیدند Giles و همکاران 2010. با آمدن RFC روش بررسی روشن است، اما هر ربات آن را رعایت نمی‌کند. تستر سطرهایی را نشان می‌دهد که ربات‌ها متفاوت می‌خوانند.

User-agent: *
Disallow: /shop/
Allow: /shop/angebote/

رایج‌ترین اشتباه: گروه‌ها چیزی به ارث نمی‌برند

اگر یک ربات گروه جداگانۀ خود را داشته باشد، هیچ بخشی از گروه عمومی برایش اعتبار ندارد. در مثال قرار است /intern/ برای همه بسته باشد، ولی Googlebot گروهی جداگانه برای مسوده‌ها دارد. نتیجۀ /intern/preise برای Bingbot بسته و برای Googlebot باز است. قاعده‌ای که باید برای همه اعتبار داشته باشد، باید در هر گروه نام‌دار هم بیاید.

گروه‌های نام‌دار رایج‌اند. در یک بررسی قدیمی از 2.925 فایل robots.txt، موتورهای بزرگ جستجو معمولاً از راه گروه‌های جداگانه دسترسی بیشتر از دیگران داشتند Sun و همکاران 2007b. یک بررسی بعدی از حدود 6 میلیون ویب‌سایت ترجیح قابل‌توجهی پیدا نکرد Kolay و همکاران 2008. عمدی باشد یا نه، تستر برای هر ربات انتخاب‌شده گروه معتبر را نشان می‌دهد و در نمای کلی مشخص می‌کند هر گروه برای کدام ربات‌ها اعتبار دارد.

User-agent: *
Disallow: /intern/

User-agent: Googlebot
Disallow: /entwurf/

Google robots.txt را در کدام موارد متفاوت از معیار می‌خواند؟

Google در نوشتن RFC سهم داشته و در اصول از آن پیروی می‌کند. تجزیه‌کنندۀ Google در بعضی موارد آسان‌گیرتر یا سخت‌گیرتر است و اسناد Google مواردی را روشن می‌کند که RFC تعیین نکرده است. تستر مطابق RFC بررسی می‌کند و هر مورد متفاوت را نشان می‌دهد تا بتوانید فایلی بسازید که برای همۀ ربات‌ها به یک شکل کار بدهد.

مقایسۀ RFC 9309 و Google، طبق اسناد Google تا 23 اکتوبر 2026
موردRFC 9309Google
حجم فایلحداقل 500 KiB خوانده می‌شودحداکثر 500 KiB، از بقیه چشم‌پوشی می‌شود
حافظۀ موقتحداکثر 24 ساعت، مگر این‌که فایل در دسترس نباشدمعمولاً تا 24 ساعت، اگر گرفتن نسخۀ تازه ناکام شود بیشتر
تغییر مسیرحداقل پنج تغییر مسیر دنبال شودحداقل پنج؛ پس از آن مانند 404
404 و دیگر کودهای 4xxrobots.txt وجود ندارد، همه چیز مجاز استهمین‌طور، به‌جز 429
5xx یا غیرقابل دسترسهمه‌چیز بسته؛ پس از مدتی طولانی‌تر، مثلاً 30 روز، مانند حالت نبودن فایل یا بر اساس نسخۀ ذخیره‌شده12 ساعت بدون خزش، سپس تا 30 روز آخرین نسخۀ سالم اعتبار دارد (اگر نسخۀ سالمی نباشد، محدودیتی نیست). پس از آن، اگر ویب‌سایت در دسترس باشد، مانند حالت نبودن فایل است
دستورهاuser-agent، allow و disallow؛ ربات می‌تواند سطرهای دیگر مانند sitemap را هم تفسیر کندتنها user-agent، allow، disallow و sitemap؛ از 1 سپتمبر 2019، noindex، nofollow و crawl-delay اثر ندارند
اشتباه تایپی، نبودن دونقطهسطر حساب نمی‌شودتجزیه‌کنندۀ Google بعضی اشتباه‌های تایپی مانند «Disalow» و سطرهای بدون دونقطه را هم می‌خواند
نام همراه با پسوندنام تنها از حروف، - و _ ساخته شده است«googlebot/1.2» و «googlebot*» هر دو «googlebot» حساب می‌شوند
اوملاوت و نویسه‌های خاصپیش از مقایسه با فیصدی کودگذاری شودبا کودگذاری فیصدی مقایسه می‌کند
Sitemapربات می‌تواند آن را تفسیر کندآدرس کامل با پروتکل و میزبان، می‌تواند روی میزبانی دیگر باشد

منابع: RFC 9309، رهنمود Google دربارۀ robots.txt (تا 23 اکتوبر 2026)، بلاگ Google به تاریخ 2 جولای 2019 و تجزیه‌کنندۀ Google. در 14 نومبر 2026 بررسی شد.

موتورهای دیگر جستجو رفتارهای خاص خود را دارند. Bing دستور Crawl-delay را رعایت می‌کند و اگر گروه bingbot وجود نداشته باشد، گروه msnbot را می‌خواند. Yandex از 22 فبروری 2018 دیگر Crawl-delay را رعایت نمی‌کند و با «User-agent: Yandex» برای همۀ ربات‌های خود یک گروه دارد. ربات Apple بدون گروه جداگانه از گروه Googlebot پیروی می‌کند. ربات‌های اعلاناتی Google گروه عمومی را یک‌سره نادیده می‌گیرند. جدول پایین نشان می‌دهد تستر کدام رفتارها را حساب می‌کند.

کدام نام‌ها را در robots.txt بنویسیم؟

در سطر User-agent توکن محصول را بنویسید، یعنی نام کوتاهی که مسئول ربات برای robots.txt اعلام کرده است، مانند «Googlebot». به شناسۀ کامل ثبت‌شده در لاگ سرور نیاز نیست. فهرست تستر تنها نام‌های مستند را دارد و رفتار خاص را فقط در صورت مستند بودن در نظر می‌گیرد.

موتورهای جستجو و ربات‌های Google، بررسی‌شده با اسناد مسئولان در 14 نومبر 2026
نام در robots.txtارائه‌کنندهبرای چهرفتار خاص
GooglebotGoogleجستجوی Google، با خلاصه‌های هوش مصنوعیاگر گروه جداگانه نباشد، «*» اعتبار دارد.
Googlebot-ImageGoogleجستجوی تصویر Googleاگر گروه جداگانه نباشد، از گروه Googlebot پیروی می‌کند.
bingbotMicrosoftBing و Copilotاگر گروه جداگانه نباشد، از گروه msnbot پیروی می‌کند و تنها پس از آن از گروه «*». Crawl-delay را هم رعایت می‌کند.
ApplebotAppleSiri, Spotlight, Safariاگر گروه جداگانه نباشد، از گروه Googlebot پیروی می‌کند.
DuckDuckBotDuckDuckGoفهرست جستجوی خود DuckDuckGoاگر گروه جداگانه نباشد، «*» اعتبار دارد.
YandexBotYandexجستجوی Yandexاگر گروه جداگانه نباشد، از گروه Yandex پیروی می‌کند. از فبروری 2018، Crawl-delay اثر ندارد.
Storebot-GoogleGoogleGoogle ShoppingGoogle گروه جایگزینی را مستند نکرده است. تستر طبق RFC 9309 گروه «*» را حساب می‌کند.
AdsBot-GoogleGoogleصفحه‌های مقصد Google Ads را بررسی می‌کندگروه «*» را نادیده می‌گیرد. صرف با گروه جداگانه می‌توان آن را بست.
Mediapartners-GoogleGoogleAdSense و Ad Managerگروه «*» را نادیده می‌گیرد. صرف با گروه جداگانه می‌توان آن را بست.

24 شناسه از ارائه‌دهندگان هوش مصنوعی هم وجود دارد، از جمله GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot و Claude-User.‎ از 2023 به بعد ویب‌سایت‌ها بیشتر و به شکل‌های متفاوت این خدمات را می‌بندند. شرایط استفاده و robots.txt هم اغلب با هم نمی‌خوانند Longpre و همکاران 2024. بررسی حدود 4 میلیون دامنه نشان می‌دهد robots.txt هنوز مهم‌ترین وسیله برای این کار است و عامل‌های هوش مصنوعی در آن معمولاً با Disallow محدود می‌شوند Hoffmann و همکاران 2026. در بررسی ربات‌های هوش مصنوعی می‌بینید هر ربات برای چه کاری صفحه می‌خواند. آن ابزار فایل واقعی robots.txt شما را هم می‌گیرد.

ساختن robots.txt برای حالت‌های رایج

کسی که به robots.txt نیاز دارد، معمولاً نمی‌خواهد واژه‌های تخنیکی یاد بگیرد. در یک نظرسنجی از 203 هنرمند، افراد زیادی این فایل را می‌خواستند، ولی اغلب معلومات لازم یا دسترسی به ویب‌سایت خود را نداشتند Liu و همکاران 2025. به همین دلیل تولیدکننده صرف می‌پرسد ربات‌ها چه چیزی را خوانده می‌توانند و سطرهای سادۀ Allow و Disallow را می‌نویسد. با «بررسی در تستر»، متن در تستر بالای صفحه باز می‌شود.

تولیدکننده · robots.txt برای حالت‌های رایج

robots.txt تنها خواندن صفحه‌ها توسط ربات‌ها را تنظیم می‌کند. فایل از معلومات محافظت نمی‌کند، چون هرکس آن را خوانده می‌تواند. صفحه را از فهرست Google هم بیرون نمی‌کند. یک آدرس بسته اگر از صفحه‌های دیگر لینک داشته باشد، می‌تواند بدون توضیح در نتایج ظاهر شود.

ربات‌ها چه چیز را خوانده بتوانند؟
کدام بخش‌ها بسته شوند؟

با خط مورب در آخر، قاعده تنها همان پوشه را می‌بندد. بدون آن، /intern با /internes-handbuch هم جور می‌آید.

برای هر نام دو سطر، یکی برای ?name= و یکی برای &name=. به این ترتیب «sort» با «resort» جور نمی‌آید.

با https:// و نام دامنه، در غیر آن سطر نوشته نمی‌شود.

# robots.txt, erstellt mit dem robots.txt-Tester von aureum-tech.com (Stand 14. November 2026)
# Regelt nur das Crawlen. Schützt keine Daten und nimmt keine Seite aus dem Google-Index.
User-agent: *
Disallow:

تولیدکننده در براوزر کار می‌کند و هیچ چیز نمی‌فرستد. فایل را با نام robots.txt در پوشۀ اصلی بگذارید. هر زیردامنه فایل جداگانۀ خود را می‌خواهد.

نوشتن سطر Sitemap تقریباً همیشه مفید است. دنبال کردن لینک‌ها و نقشۀ ویب‌سایت همدیگر را تکمیل می‌کنند. در مقایسۀ میلیاردها آدرس Google، صفحه‌های بدون لینک ورودی و مطالب تازه از راه نقشۀ ویب‌سایت زودتر پیدا می‌شدند Schonfeld und Shivakumar 2009. این سطر آدرس کامل می‌خواهد و برای همۀ گروه‌ها اعتبار دارد.

robots.txt چه کارهایی را انجام نمی‌دهد

  • چیزی را از فهرست بیرون نمی‌کند. به گفتۀ Google، با robots.txt نمی‌شود یک صفحه را از نتایج Google بیرون نگه داشت. آدرس بسته‌ای که از صفحه‌های دیگر لینک دارد، ممکن است بدون توضیح در نتایج ظاهر شود. برای بیرون کردن صفحه از noindex استفاده کنید. Google فقط وقتی آن را می‌بیند که اجازۀ خواندن صفحه را داشته باشد.
  • از معلومات محافظت نمی‌کند. فایل عمومی است و مسیرهای بسته را فهرست می‌کند. RFC به‌روشنی می‌گوید که این فایل جای حفاظت از دسترسی را نمی‌گیرد. رعایت آن به تصمیم مسئول هر ربات بستگی دارد Thelwall und Stuart 2006. معلومات محرمانه باید پشت رمز باشد.
  • یک درخواست است. نخستین بررسی‌های بزرگ این فایل را قاعده‌ای توصیف می‌کردند که ربات‌های قانون‌پذیر رعایت می‌کنند و اجرای آن اجباری نیست Sun و همکاران 2007a. در آزمایش‌هایی با 130 ربات نام‌دار در 40 روز، ربات‌ها کمتر از قواعد سخت‌گیرانه پیروی کردند و ربات‌های جستجوی هوش مصنوعی اغلب اصلاً فایل را نگرفتند Kim و همکاران 2025.
  • به نام ربات وابسته است. نمی‌توان ربات‌ها را با اطمینان شناخت، چون هیچ یک از روش‌های رایج در همۀ حالت‌ها قابل اعتماد نیست Doran und Gokhale 2011. رباتی که با نام دیگری بیاید، به قاعدۀ مربوط به خودش نمی‌خورد.
  • مسدود کردن واقعی در سرور انجام می‌شود. بستن دسترسی در پراکسی معکوس در برابر ربات‌های هوش مصنوعی از robots.txt مؤثرتر بود Liu و همکاران 2025. بعضی میزبان‌ها و ویب‌سایت‌سازها هم پیش از آن‌که نوبت به robots.txt برسد، ربات‌ها را رد می‌کنند. در یک نسخۀ معلومات Common Crawl، حدود 1,68 فیصد ویب‌سایت‌ها همین کار را می‌کردند Ansar و همکاران 2025. در آن حالت حتی سطر درست Allow هم کمکی نمی‌کند.
  • تستر متن شما را بررسی می‌کند. برای این‌که معلوم شود سرور دقیقاً همین فایل را به شکل متن و با وضعیت 200 می‌فرستد، بررسی ربات‌های هوش مصنوعی فایل را مستقیماً از سرور می‌گیرد.

تستر به یک سوال ابتدایی جواب می‌دهد. Quick-Check در SpotLens نشان می‌دهد که آیا صفحه‌های شما واقعاً در Google هستند و اگر نیستند، مشکل کجاست. برای بررسی ابتدایی به رهنمود ویب‌سایت در Google پیدا نمی‌شود مراجعه کنید. در بخش SEO توضیح می‌دهیم که چطور به دیده شدن ویب‌سایت‌ها در رودویش (Rodewisch) و فوگتلند (Vogtland) کمک می‌کنیم. ابزارهای دیگر در SEO و دیده‌شدن آمده‌اند.

استفاده از این ابزار از طریق یک دستیار هوش مصنوعی

دستیارهایی مانند Claude یا ChatGPT که Model Context Protocol (MCP) را می‌فهمند، حساب این صفحه را مستقیم صدا زده می‌توانند، به جای این‌که خودشان دوباره بسازند. سرور عمومی است، به ثبت نام ضرورت ندارد و چیزی ذخیره نمی‌کند. جواب همیشه لینک این صفحه، تاریخ معلومات و حدود نتیجه را در بر دارد.

نقطۀ پایانی (Endpoint)
https://aureum-tech.com/mcp
ابزار
werkzeug_robots_txt_tester
انتقال
Streamable HTTP، فقط خواندنی
ورودی‌ها
نامحتمیمعنا
robots_txtبلیمتن کامل فایل robots.txt، همان‌طور که در /robots.txt آمده است.
pfadeنخیرحداکثر 50 مسیر یا URL کامل، مثلاً «/kontakt» یا «https://www.firma.de/blog?seite=2». از URL تنها مسیر و پارامترها در نظر گرفته می‌شوند. اگر چیزی وارد نشود، «/» استفاده می‌شود.
crawlerنخیرتوکن محصول ربات‌ها، مثلاً Googlebot، bingbot، GPTBot.‎ علامت «*» برای هر رباتی است که گروه جداگانه ندارد. نام‌های شناخته‌شده: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. نام‌های دیگر طبق RFC 9309 بررسی می‌شوند. پیش‌فرض: Googlebot, bingbot, GPTBot, ClaudeBot, *.

سوال‌هایی که دستیار باید با آن‌ها این ابزار را صدا بزند

  • «آیا Googlebot با همین robots.txt اجازۀ گرفتن /wp-admin/admin-ajax.php را دارد؟»
  • «چرا محدودیت زیر «User-agent: *» برای GPTBot اعتبار ندارد؟»
  • «کدام سطر robots.txt من آدرس https://www.firma.de/shop?sort=preis را برای Bingbot می‌بندد؟»
  • «آیا «Disalow: /intern/» در robots.txt من اشتباه است؟ Google باز هم این سطر را می‌خواند؟»

این‌که اتصال چطور کار می‌کند و MCP در شرکت خود شما چه کرده می‌تواند، در صفحۀ ادغام MCP نوشته شده است.

سوال‌های رایج دربارۀ robots.txt

آیا «Disallow» یک صفحه را از فهرست Google بیرون می‌کند؟

نخیر. Disallow صرف گرفتن صفحه را منع می‌کند. اگر ویب‌سایت‌های دیگر به آن آدرس لینک بدهند، Google هنوز هم می‌تواند آن را در نتایج نشان بدهد، اما بدون توضیح. برای بیرون کردن یک صفحه، Google باید بتواند آن را بخواند و noindex را در متا‌تگ یا X-Robots-Tag ببیند. راه دیگر این است که صفحه با 404 یا 410 جواب بدهد یا پشت رمز باشد. بستن صفحه همراه با noindex نتیجۀ برعکس می‌دهد، چون Google noindex را اصلاً نمی‌بیند.

چرا محدودیت «User-agent: *» برای Googlebot اعتبار ندارد؟

چون Googlebot گروه جداگانۀ خود را دارد. هر ربات از گروهی پیروی می‌کند که به نام خودش است. تنها اگر چنین گروهی نباشد، گروه عمومی «*» را می‌گیرد. چیزی که در گروه عمومی بسته است، باید در هر گروه نام‌دار هم آمده باشد. تستر در هر نتیجه نشان می‌دهد کدام گروه اعتبار دارد.

اگر Allow و Disallow هر دو با یک مسیر جور بیایند، کدام اعتبار دارد؟

قاعده‌ای که از نگاه شمار نویسه‌ها طولانی‌تر است. اگر طول برابر باشد، Allow اعتبار دارد. ترتیب سطرها در فایل فرق ندارد. با «Disallow: /shop/» و «Allow: /shop/angebote/»، مسیر /shop/angebote/ باز می‌ماند و باقی فروشگاه بسته است.

تغییر در robots.txt چه وقت در Google اثر می‌کند؟

Google معمولاً فایل را تا 24 ساعت در حافظۀ موقت نگه می‌دارد. اگر گرفتن نسخۀ تازه کامیاب نشود، ممکن است بیشتر نگه دارد. تا آن وقت قواعد قبلی اعتبار دارند. پیش از آپلود، متن تغییر‌یافته را این‌جا بررسی کنید.

آیا robots.txt بخش‌های محرمانه را محافظت می‌کند؟

نخیر. فایل عمومی است و هرکس می‌تواند آن را بگیرد. خود فایل حتی مسیرهای بسته را نشان می‌دهد. معیار هم می‌گوید که این فایل جای حفاظت از دسترسی را نمی‌گیرد. معلومات محرمانه را در بخشی بگذارید که سرور برای آن ورود به حساب یا رمز بخواهد.

آیا Google Crawl-delay یا Noindex را در robots.txt رعایت می‌کند؟

نخیر. Google فقط user-agent، allow، disallow و sitemap را می‌خواند. Noindex، nofollow و crawl-delay در robots.txt از 1 سپتمبر 2019 بر Google اثر ندارند. Bing دستور Crawl-delay را رعایت می‌کند، Yandex از فبروری 2018 به بعد آن را رعایت نمی‌کند و Applebot هم رعایت نمی‌کند. تستر این سطرها را نشانی می‌کند.

آزمایش robots.txt چه محدودیت‌هایی دارد؟

این ابزار همان متنی را که وارد می‌کنید، طبق RFC 9309 و رفتارهای مستند ربات‌ها بررسی می‌کند. برای دیدن این‌که سرور شما واقعاً همین فایل را می‌فرستد، بررسی ربات‌های هوش مصنوعی فایل را مستقیماً می‌گیرد. Quick-Check در SpotLens نشان می‌دهد که صفحه‌ها در فهرست جستجو هستند یا نه و اگر نیستند، مشکل از کجاست. اگر بخواهید، موانع دیده شدن صفحه‌ها در Google را رفع می‌کنیم.

این ابزار بر چه تکیه دارد

مقدارهای رهنمودی و نکته‌های بالا بر این 13 پژوهش استوارند. هر پژوهش را از راه DOI یا ویب‌سایت ناشر بررسی کردیم، آخرین بار در 14 نومبر 2026. همۀ این پژوهش‌ها وجود دارند، پس گرفته نشده‌اند و یافته‌های‌شان هنوز به این سوال ارتباط دارد.

  1. Sun, Y.; Zhuang, Z.; Giles, C.‎ L.‎ (2007): A large-scale study of robots.txt. مجموعه‌مقالات 16مین کنفرانس بین‌المللی ویب جهانی (WWW 2007)، صفحات 1123–1124

    یافته پنج بررسی پیهم از 7.593 ویب‌سایت نشان می‌دهد که استفاده از robots.txt بیشتر شده است. فایل اجرای هیچ قاعده‌ای را تضمین نمی‌کند. ربات‌های قانون‌پذیر به خواست خود آن را رعایت می‌کنند.

    در ابزار این یافته دلیل نکته‌ای است که بالای هر نتیجه آمده: robots.txt یک درخواست است و دسترسی را قفل نمی‌کند.

  2. Sun, Y.; Zhuang, Z.; Councill, I.‎ G.; Giles, C.‎ L.‎ (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07)، ص. 149–155

    یافته در 2.925 فایل robots.txt، ربات‌های موتورهای بزرگ جستجو بیشتر با داشتن گروه جداگانه امتیاز می‌گرفتند. این امتیاز به‌شدت با سهم آن‌ها از بازار ارتباط داشت.

    در ابزار به همین دلیل تستر چند ربات را کنار هم مقایسه می‌کند و نشان می‌دهد کدام گروه برای هرکدام اعتبار دارد و در نمای کلی هر گروه برای کدام ربات‌ها اعتبار دارد: تفاوت از گروه‌های نام‌دار پیدا می‌شود.

  3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A.‎ (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008)، ص. 1171–1172

    یافته بررسی حدود 6 میلیون ویب‌سایت، برخلاف پژوهش کوچک‌تر سال 2007، امتیاز قابل‌توجهی برای یک موتور جستجوی مشخص پیدا نکرد.

    در ابزار متن توضیح می‌دهد که نتیجۀ بررسی امتیازدهی با تغییر نمونۀ پژوهش فرق می‌کند. تستر قضاوت نمی‌کند و فقط برای هر ربات نشان می‌دهد کدام گروه اعتبار دارد.

  4. Giles, C.‎ L.; Sun, Y.; Councill, I.‎ G.‎ (2010): Measuring the web crawler ethics. مجموعه‌مقالات 19مین کنفرانس بین‌المللی ویب جهانی (WWW 2010)، صفحات 1101–1102

    یافته بیشتر خزنده‌های تجارتی مطابق قواعد رفتار کردند، اما بسیاری بعضی قواعد robots.txt را بارها نقض کردند یا نادرست فهمیدند.

    در ابزار از همین رو تستر سطرهایی را نشان می‌دهد که ربات‌ها متفاوت می‌خوانند و تولیدکننده صرف سطرهای سادۀ Allow و Disallow را می‌نویسد.

  5. Sun, Y.; Councill, I.‎ G.; Giles, C.‎ L.‎ (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT)، ص. 668–675

    یافته رفتار ربات‌های زیادی با صفحه‌های آزمایشی سنجیده شد که برای هرکدام قاعدۀ متفاوت robots.txt گذاشته بودند. میزان رعایت قواعد بسیار فرق می‌کرد. بسیاری از ربات‌های تجارتی بعضی قواعد را پیهم نقض می‌کردند.

    در ابزار این یافته محدودیت را روشن می‌کند: فقط لاگ سرور، نه تستر، نشان می‌دهد که آیا یک ربات واقعاً از قواعد پیروی می‌کند.

  6. Thelwall, M.; Stuart, D.‎ (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13)، ص. 1771–1779

    یافته پژوهش پیامدهای خواندن خودکار صفحه‌ها را برای مسئول ویب‌سایت از نگاه هزینه، محرمیت و بار زیاد روی سرور بررسی می‌کند. تشخیص این‌که خواندن صفحه قابل‌توجیه است یا نه، به تصمیم مسئول ربات در هر مورد بستگی دارد.

    در ابزار به همین دلیل برای بخش‌های محرمانه، تستر حفاظت با رمز را پیشنهاد می‌کند، چون سطر Disallow دسترسی را محافظت نمی‌کند.

  7. Schonfeld, U.; Shivakumar, N.‎ (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009)، ص. 991–1000

    یافته مقایسۀ دنبال کردن لینک‌ها و نقشۀ ویب‌سایت برای میلیاردها آدرس Google نشان می‌دهد که این دو روش همدیگر را تکمیل می‌کنند. نقشۀ ویب‌سایت کمک می‌کند صفحه‌های بدون لینک ورودی و مطالب تازه زودتر پیدا شوند.

    در ابزار از همین رو تستر سطرهای Sitemap را جداگانه فهرست می‌کند و می‌سنجد که آدرس‌شان کامل باشد. تولیدکننده هم یک سطر Sitemap می‌نویسد.

  8. Doran, D.; Gokhale, S.‎ S.‎ (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2)، ص. 183–210

    یافته مقایسۀ روش‌های رایج شناخت ربات‌ها نشان می‌دهد که هیچ‌کدام در همۀ موارد قابل اعتماد نیست. بعضی ربات‌ها درست رفتار نمی‌کنند یا بار سنگینی بر سرور می‌گذارند.

    در ابزار این یافته توضیح می‌دهد چرا نمی‌توان ربات‌ها را با اطمینان شناخت. قاعده فقط برای رباتی اثر دارد که نام خودش را اعلام کند و آن را رعایت کند.

  9. Kim, T.; Bock, K.; Luo, C.‎ و همکاران (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. مجموعه‌مقالات کنفرانس سنجش انترنت ACM در سال 2025 (IMC 2025)، صفحات 541–557

    یافته در آزمایش‌های کنترل‌شده با 130 ربات نام‌دار در 40 روز، ربات‌ها کمتر از قواعد سخت‌گیرانه پیروی کردند و ربات‌های جستجوی هوش مصنوعی اغلب اصلاً robots.txt را نگرفتند.

    در ابزار از همین رو کنار هر نتیجۀ «بسته» یادآوری می‌شود که این محدودیت یک درخواست است. در گزینۀ «بستن همه‌چیز» در تولیدکننده هم توصیه می‌شود که سرور واقعاً از دسترسی محافظت کند.

  10. Longpre, S.; Mahari, R.; Lee, A.‎ و دیگران (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، صفحات 108042–108087

    یافته بررسی 14.000 دامنه که منبع داده‌های آموزش هوش مصنوعی بودند، طی یک سال افزایش شدید مسدودسازی، تفاوت‌های بزرگ میان عرضه‌کنندگان هوش مصنوعی و تناقض‌های مکرر میان شرایط استفاده و robots.txt را نشان داد.

    در ابزار به همین دلیل می‌توانید ربات‌های هوش مصنوعی را جداگانه انتخاب کنید. برای تصمیم گرفتن دربارۀ آموزش دادن یا ندادن مدل‌ها هم تستر به بررسی ربات‌های هوش مصنوعی ارجاع می‌دهد.

  11. Liu, E.; Luo, E.; Shan, S.‎ و دیگران (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 78–99

    یافته اندازه‌گیری‌ها و نظرسنجی از 203 هنرمند نشان می‌دهد که نیاز به robots.txt زیاد است، ولی کمبود معلومات تخنیکی و دسترسی نداشتن به ویب‌سایت خود مانع ایجاد می‌کند. بستن دسترسی در پراکسی معکوس مؤثرتر بود.

    در ابزار به همین دلیل تولیدکننده حالت‌های رایج را بدون واژه‌های تخنیکی پوشش می‌دهد و یادآوری می‌کند که برای بستن واقعی دسترسی با میزبان ویب‌سایت صحبت کنید.

  12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V.‎ (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2)، ص. 29–41

    یافته بررسی حدود 4 میلیون دامنه نشان می‌دهد که robots.txt هنوز مهم‌ترین وسیله برای باز گذاشتن یا بستن دسترسی ربات‌ها است. عامل‌های هوش مصنوعی در آن بیشتر با سطرهای Disallow محدود می‌شوند.

    در ابزار این یافته توضیح می‌دهد که چرا تستر روی robots.txt تمرکز دارد و شناسه‌های هوش مصنوعی را هم‌تراز با موتورهای جستجو بررسی می‌کند.

  13. Ansar, M.; Sperotto, A.; Holz, R.‎ (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، صفحات 197–214

    یافته حدود 1,68 درصد ویب‌سایت‌ها در یک نسخۀ برداشت‌شدۀ Common Crawl صریحاً دسترسی خزنده را رد کردند؛ اغلب از سوی فراهم‌کنندگان بزرگ میزبانی و خدمات ساخت ویب‌سایت، با روش‌هایی از مسدودسازی تا نمایش صفحۀ بررسی.

    در ابزار از همین رو اگر میزبان یا سیستم محافظت از ربات‌ها پیش از خواندن robots.txt ربات را رد کند، باز گذاشتن آدرس در فایل کمکی نمی‌کند.

معیارها، ادارات و معلومات تولیدکنندگان

دوشنبه تا جمعه، 8 تا 17

نتیجۀ کاپی‌شده را برای ما بفرستید. ما در رودویش (Rodewisch) و تمام فوگتلند (Vogtland) فایل robots.txt و نقشۀ ویب‌سایت شما را بررسی می‌کنیم و موانع دیده شدن صفحه‌ها در Google را رفع می‌کنیم.

+49 3744 4399760[email protected]

دوشنبه تا جمعه، ساعت 8 تا 17 · Straße der Jugend 5, 08228 Rodewisch

درخواست بررسی robots.txt
+49 3744 4399760دوشنبه تا جمعه، 8 تا 17
زنگ بزنیدتماس برگشتی

لست اجزا · ورق 1/1

این صفحه از چه ساخته شده است

اندازه‌ها هنگام ساختن صفحه گرفته شده — با JavaScript براوزر شما دوباره و زنده اندازه می‌گیرد.

ردیفجزءنوعاندازه
01index.htmlسند≈ 29 kB
02styles.cssاستایل‌شیت≈ 20 kB
03scripts.jsاسکریپت≈ 13 kB
04archivo-variable.woff2فونت≈ 58 kB
05ibm-plex-mono.woff2فونت≈ 30 kB
06favicon.svgگرافیک< 1 kB

کوکی‌های اعلانی یا تحلیلی: هیچ. بدون اجازۀ شما این صفحه از سرورهای بیرونی چیزی بار نمی‌کند، به جز خدمات رسانندۀ ما Cloudflare — فونت‌ها، اسکریپت‌ها و گرافیک‌ها نزد خود ماست. آی‌تی شما را هم همین‌طور می‌سازیم.

بیرون از ساعات کاری

با این هم زنگ زده می‌توانید

به طور عادی دوشنبه تا جمعه، ساعت 8 تا 17 در دفتر هستیم.

شمارۀ ما شام‌ها و آخر هفته هم به ما انتقال می‌یابد و اکثراً کسی جواب می‌دهد. این را وعده داده نمی‌توانیم.

اگر کسی جواب نداد، یک پیام صوتی کوتاه بگذارید: نام، شماره و موضوع. هر چه زودتر زنگ می‌زنیم، حداکثر تا روز کاری بعدی.

خود تماس پولی ندارد. اگر بیرون از ساعات کاری کسی باید فوراً کار کند، اضافه‌پول مطابق لست قیمت‌ها حساب می‌شود.

همین حالا زنگ بزنید+49 3744 4399760

نوشتن را ترجیح می‌دهید؟ از طریق فورم تماس یا به [email protected]. آن را روز کاری بعدی می‌خوانیم.

تشخیص · AT-K2

چه مشکلی دارید؟

↵ انتخابESC بستنزنگ بزنید: +49 3744 4399760

تنظیمات شخصی

کدام خدمات اجازۀ بار شدن دارند؟

از نظر تخنیکی ضروری

تصمیمی که این‌جا می‌گیرید، و تنظیمات رنگ و حرکت. این معلومات به شکل چند ثبت کوچک روی دستگاه شما می‌ماند و هرگز به سرور فرستاده نمی‌شود. برای کار صفحه لازم است و از همین خاطر خاموش شده نمی‌تواند.