ابزار AT-W29REV.‎ 2026-A

بررسی خزنده‌های هوش مصنوعی: آیا ChatGPT، Claude و Perplexity اجازه خواندن سایت شما را دارند؟

اینکه یک دستیار هوش مصنوعی اجازه خواندن سایت شما را دارد یا نه، در robots.txt مشخص می‌شود: برای هر خزنده یک گروه جداگانه؛ در غیر این صورت قاعده عمومی «User-agent: *» اعمال می‌شود. هدف استفاده تعیین‌کننده است. GPTBot و ClaudeBot برای آموزش اطلاعات جمع می‌کنند، OAI-SearchBot و Claude-SearchBot برای جست‌وجوی هوش مصنوعی، و ChatGPT-User وقتی کسی در چت سؤال می‌کند یک صفحه را دریافت می‌کند. این ابزار قواعد شما را برای 27 خزنده می‌خواند، llms.txt را بررسی می‌کند و بلوک مناسب را برایتان می‌نویسد.

  • رایگان
  • بدون ثبت‌نام
  • 5 دقیقه در حافظهٔ موقت

دامنه را وارد کنید، وضعیت دسترسی هر خزنده را ببینید

دریافت · robots.txt، llms.txt و صفحه اصلی

این ابزار قواعد را همان‌طور که امروز روی سرور هستند می‌خواند و بر اساس RFC 9309 ارزیابی می‌کند. اینکه یک خزنده آن‌ها را رعایت کند، به تصمیم ارائه‌دهنده آن بستگی دارد.

مثلاً ihre-firma.de.‎ اگر صفحه اصلی به www.‎ منتقل شود، بررسی در همان‌جا انجام می‌شود.

اگر چیزی وارد نکنید، صفحه اصلی بررسی می‌شود. با /blog یا /leistungen می‌توانید ببینید آیا دقیقاً همان بخش در دسترس است.

دامنه برای دریافت اطلاعات به سرور ما فرستاده می‌شود. سرور robots.txt، llms.txt و بخش ابتدایی صفحهٔ اصلی را دریافت می‌کند. دامنه و نتیجه در گزارش‌های سرور ثبت نمی‌شوند. برای بررسی‌های بعدی، هر دو حداکثر پنج دقیقه در حافظهٔ اصلی سرور (RAM) نگه داشته می‌شوند.

بدون دریافت از سایت: متن robots.txt را وارد کنید

مثلاً برای فایلی که هنوز آنلاین نشده است. متن در مرورگر می‌ماند؛ مسیری که بالا وارد کرده‌اید ملاک قرار می‌گیرد.

نتیجه

بالا یک دامنه وارد کنید. دریافت اطلاعات چند ثانیه طول می‌کشد.

چه خزنده‌های هوش مصنوعی وجود دارند و برای چه می‌خوانند

ارائه‌دهندگان بزرگ بسته به هدف، چند خزنده می‌فرستند، نه فقط یکی. مهم‌ترین نکته هنگام تنظیم همین است: کسی که «هوش مصنوعی» را مسدود می‌کند، معمولاً از جست‌وجوی هوش مصنوعی هم حذف می‌شود و دیگر آنجا به‌عنوان منبع معرفی نمی‌شود. از 2023، سایت‌ها ارائه‌دهندگان هوش مصنوعی را بیشتر مسدود می‌کنند، آن هم به شکل‌های بسیار متفاوت؛ پژوهشگران در این میان اغلب بین شرایط استفاده و robots.txt تناقض دیده‌اند Longpre و همکاران 2024. به همین دلیل، این ابزار هر خزنده را جداگانه نشان می‌دهد.

آموزش، مثلاً GPTBOT، CLAUDEBOT، CCBOTسایت شماROBOTS.TXTخزنده اطلاعات جمع می‌کندآیندهمدلجست‌وجوی هوش مصنوعی، مثلاً OAI-SEARCHBOT، PERPLEXITYBOTسایت شماROBOTS.TXTفهرست جست‌وجوپاسخ بامنبعدریافت به درخواست کاربر، مثلاً CHATGPT-USERسؤال در چتدریافت یک صفحهسایت شماآموزش، مثلاً GPTBOT،CLAUDEBOT, CCBOTسایت شماROBOTS.TXTخزنده اطلاعات جمع می‌کندمدل آیندهجست‌وجوی هوش مصنوعی، مثلاً OAI-SEARCHBOT،PERPLEXITYBOTسایت شماROBOTS.TXTفهرست جست‌وجوپاسخ با منبعدریافت به درخواست کاربر، مثلاً CHATGPT-USERسؤال در چتدریافت یک صفحهسایت شما
شکل 1 · سه راهی که هوش مصنوعی سایت شما را می‌خواندطلایی = قاعده شما در ROBOTS.TXT · خط‌چین = قاعده همیشه اعمال نمی‌شود
چهار نوع، طبق گفته ارائه‌دهندگان
نوعمواردچه کاری انجام می‌دهند
جست‌وجوی هوش مصنوعی11فهرستی می‌سازد که دستیار هوش مصنوعی یا موتور جست‌وجو از آن پاسخ‌هایی همراه با منبع تهیه می‌کند. اگر مسدود شود، صفحه کمتر یا اصلاً به‌عنوان منبع در آنجا ظاهر نمی‌شود.
آموزش6محتوایی جمع می‌کند که مدل‌های زبانی از آن یاد می‌گیرند. ممنوعیت بر دوره‌های آموزشی آینده اثر می‌گذارد، نه بر مدل‌هایی که قبلاً آموزش دیده‌اند.
تنظیم اجازه آموزش2خزنده مستقلی نیست. این قاعده به ارائه‌دهنده می‌گوید آیا اجازه دارد محتوایی را که به هر حال دریافت کرده، برای آموزش استفاده کند.
دریافت به درخواست کاربر7یک صفحه مشخص را دریافت می‌کند، چون کسی در همان لحظه آن را خواسته است. چند ارائه‌دهنده نوشته‌اند که robots.txt برای این حالت اعمال نمی‌شود یا همیشه اعمال نمی‌شود.

دو مورد نیاز به توجه بیشتری دارند. Common Crawl خودش مدلی را آموزش نمی‌دهد، اما بزرگ‌ترین آرشیو آزاد وب را می‌سازد؛ این آرشیو از مهم‌ترین منابع پیش‌آموزش مدل‌های زبانی بزرگ است Baack 2024. برای مثال، مجموعه داده آموزشی معروف C4 از تنها یک نسخه ثبت‌شده از همین نوع ساخته شده است Dodge و همکاران 2021. به همین دلیل، کسی که با استفاده برای آموزش مخالف است، CCBot را هم مسدود می‌کند؛ اما هیچ قاعده‌ای نمی‌تواند چیزی را که قبلاً در یک نسخه ثبت‌شده قرار گرفته، پس بگیرد. مورد دوم Googlebot است: در این فهرست آمده چون خلاصه‌های هوش مصنوعی و حالت هوش مصنوعی جست‌وجوی Google بر فهرست آن تکیه دارند. کسی که می‌خواهد در Google پیدا شود، آن را مسدود نمی‌کند.

همه 27 خزنده بررسی‌شده

فهرست خزنده‌ها، بررسی‌شده در 14 نوامبر 2026 بر اساس مستندات هر ارائه‌دهنده
نام در robots.txtارائه‌دهندههدفrobots.txt اثر داردآنچه ارائه‌دهنده نوشته است
OAI-SearchBotOpenAIجست‌وجوی هوش مصنوعیبله، طبق گفته ارائه‌دهندهاطلاعات جست‌وجوی ChatGPT را تأمین می‌کند. سایتی که آن را مسدود کند، در پاسخ‌ها به‌عنوان منبع ظاهر نمی‌شود.
Claude-SearchBotAnthropicجست‌وجوی هوش مصنوعیبله، طبق گفته ارائه‌دهندهبرای جست‌وجوی Claude اطلاعات فراهم می‌کند. اگر مسدود شود، صفحه کمتر در نتایج آن ظاهر می‌شود.
GooglebotGoogleجست‌وجوی هوش مصنوعیبله، طبق گفته ارائه‌دهندهخزنده جست‌وجوی Google.‎ خلاصه‌های هوش مصنوعی و حالت هوش مصنوعی هم از همین فهرست استفاده می‌کنند؛ کنترل آن‌ها با nosnippet، max-snippet و noindex انجام می‌شود.
PerplexityBotPerplexityجست‌وجوی هوش مصنوعیبله، طبق گفته ارائه‌دهندهفهرستی می‌سازد که Perplexity از آن به منابع لینک می‌دهد. طبق گفته ارائه‌دهنده، برای آموزش مدل‌ها نیست.
ApplebotAppleجست‌وجوی هوش مصنوعیبله، طبق گفته ارائه‌دهندهخزنده جست‌وجو در Siri، Spotlight و Safari.‎ طبق گفته Apple، داده‌ها ممکن است در آموزش مدل‌های Apple هم استفاده شوند؛ Applebot-Extended برای کنترل همین موضوع است.
meta-webindexerMetaجست‌وجوی هوش مصنوعیبله، طبق گفته ارائه‌دهندهبرای جست‌وجو در Meta AI فهرست‌سازی می‌کند تا Meta بتواند به محتوا ارجاع بدهد و لینک کند.
Amzn-SearchBotAmazonجست‌وجوی هوش مصنوعیبله، طبق گفته ارائه‌دهندهبرای قابلیت‌های جست‌وجو در محصولات Amazon مثل Alexa؛ طبق گفته Amazon برای آموزش نیست.
bingbotMicrosoftجست‌وجوی هوش مصنوعیبله، طبق گفته ارائه‌دهندهخزنده Bing.‎ Microsoft شناسه جداگانه‌ای برای هوش مصنوعی معرفی نکرده است؛ از فوریه 2027 دستورهای مربوط به آموزش و پاسخ‌های هوش مصنوعی خطاب به Bingbot خواهند بود.
MistralAI-IndexMistralجست‌وجوی هوش مصنوعیبله، طبق گفته ارائه‌دهندهفقط برای فهرست جست‌وجو می‌خزد؛ طبق گفته Mistral برای آموزش نیست.
DuckAssistBotDuckDuckGoجست‌وجوی هوش مصنوعیبله، طبق گفته ارائه‌دهندهصفحات را در لحظه برای پاسخ‌های هوش مصنوعی DuckDuckGo، همراه با ذکر منبع، دریافت می‌کند. طبق گفته ارائه‌دهنده برای آموزش نیست.
YouBotYou.comجست‌وجوی هوش مصنوعیبله، طبق گفته ارائه‌دهندهخزنده موتور جست‌وجوی You.com.‎ از robots.txt، از جمله Crawl-delay، پیروی می‌کند.
GPTBotOpenAIآموزشبله، طبق گفته ارائه‌دهندهمحتوایی جمع می‌کند که ممکن است برای آموزش مدل‌های OpenAI استفاده شود. طبق گفته OpenAI، مسدودسازی یعنی: برای آموزش استفاده نشود.
ClaudeBotAnthropicآموزشبله، طبق گفته ارائه‌دهندهمحتوایی جمع می‌کند که ممکن است برای آموزش مدل‌های Anthropic استفاده شود. Anthropic از robots.txt و همچنین Crawl-delay پیروی می‌کند.
meta-externalagentMetaآموزشبله، طبق گفته ارائه‌دهندهبرای آموزش مدل‌های هوش مصنوعی و محصولات Meta اطلاعات جمع می‌کند.
AmazonbotAmazonآموزشبله، طبق گفته ارائه‌دهندهبه بهبود محصولات Amazon کمک می‌کند؛ این کار ممکن است شامل آموزش مدل‌های هوش مصنوعی Amazon هم باشد. Crawl-delay را رعایت نمی‌کند.
MistralAI-TrainingMistralآموزشبله، طبق گفته ارائه‌دهندهمحتوا را برای داده‌های آموزشی مدل‌های Mistral جمع می‌کند.
CCBotCommon Crawlآموزشبله، طبق گفته ارائه‌دهندهآرشیوی از وب می‌سازد که دسترسی به آن آزاد است. Common Crawl خودش چیزی را آموزش نمی‌دهد، اما این آرشیو یکی از مهم‌ترین منابع داده‌های آموزشی است.
Google-ExtendedGoogleتنظیم اجازه آموزشبله، طبق گفته ارائه‌دهندهخزنده مستقلی نیست، بلکه یک تنظیم است: آیا محتوای دریافت‌شده توسط Google اجازه دارد برای آموزش مدل‌های آینده Gemini و پشتیبانی پاسخ‌های Gemini با منابع استفاده شود؟ طبق گفته Google، این تنظیم بر جست‌وجوی Google اثر ندارد.
Applebot-ExtendedAppleتنظیم اجازه آموزشبله، طبق گفته ارائه‌دهندهخزنده مستقلی نیست. اگر مسدود شود، Apple از محتوا برای آموزش مدل‌هایش استفاده نمی‌کند؛ صفحه در جست‌وجو باقی می‌ماند.
ChatGPT-UserOpenAIدریافت به درخواست کاربرنه همیشهوقتی کسی در ChatGPT صفحه‌ای را می‌خواهد، آن را دریافت می‌کند. طبق گفته OpenAI، ممکن است قواعد robots.txt برای این کار اعمال نشوند.
Claude-UserAnthropicدریافت به درخواست کاربربله، طبق گفته ارائه‌دهندهوقتی کاربران در Claude سؤال می‌کنند، صفحات را دریافت می‌کند. Anthropic نوشته است که ربات‌هایش از robots.txt پیروی می‌کنند.
Google-AgentGoogleدریافت به درخواست کاربرنه همیشهبه درخواست کاربر وب‌گردی می‌کند و کارهایی انجام می‌دهد. طبق گفته Google، دریافت به درخواست کاربر معمولاً robots.txt را نادیده می‌گیرد.
Perplexity-UserPerplexityدریافت به درخواست کاربرنه همیشهوقتی کاربری سؤال می‌کند، صفحات را دریافت می‌کند. طبق گفته Perplexity، معمولاً robots.txt را نادیده می‌گیرد.
meta-externalfetcherMetaدریافت به درخواست کاربرنه همیشهبه درخواست کاربر، لینک‌های مشخصی را دریافت می‌کند؛ از جمله برای عامل‌های هوش مصنوعی. طبق گفته Meta ممکن است robots.txt را دور بزند.
Amzn-UserAmazonدریافت به درخواست کاربرنه همیشهبرای سؤال کاربر، مثلاً از Alexa، اطلاعات به‌روز دریافت می‌کند. طبق گفته Amazon، همه قواعد robots.txt را رعایت نمی‌کند.
MistralAI-UserMistralدریافت به درخواست کاربربله، طبق گفته ارائه‌دهندهوقتی کاربری درخواست می‌کند، صفحه‌ای را دریافت کرده و به‌عنوان منبع به آن لینک می‌دهد. طبق گفته Mistral، گروه robots.txt مشخص می‌کند کدام صفحات برای این کار مجازند.
BytespiderByteDanceنامشخصمستند نیستمستنداتی از ارائه‌دهنده پیدا نشد. هدف و نحوه برخورد با robots.txt مستند نیست.

در فهرست نیامده‌اند: نام‌هایی از فهرست‌های ربات‌ها که خود ارائه‌دهنده ذکر نکرده است، مثل anthropic-ai یا cohere-ai.‎ طبق مستندات خود Cohere، این شرکت در حال حاضر خزنده‌ای ندارد؛ Microsoft هم شناسه جداگانه‌ای برای هوش مصنوعی معرفی نکرده و دستورهای هوش مصنوعی آن خطاب به bingbot است. آخرین به‌روزرسانی: 14 نوامبر 2026.

آموزش را مسدود و جست‌وجوی هوش مصنوعی را مجاز کنید: بلوک مناسب

بیشتر کسب‌وکارها یک خواسته مشترک دارند: در پاسخ‌های ChatGPT، Claude یا Perplexity به‌عنوان منبع ظاهر شوند، اما بدون اجازه مطالبشان برای آموزش استفاده نشود. تنظیم پیش‌فرض ابزار ساخت همین است. هر گروه را جداگانه و فقط با Allow و Disallow، بدون نویسه‌های جایگزین می‌نویسد؛ چون حتی خزنده‌های تجاری هم بعضی قواعد را بارها اشتباه تفسیر می‌کنند Giles و همکاران 2010. این بلوک را به robots.txt موجود خود اضافه می‌کنید؛ گروه «User-agent: *» همان‌طور که هست باقی می‌ماند.

ابزار ساخت · بلوک robots.txt

آیا ارائه‌دهندگان هوش مصنوعی اجازه دارند از محتوای شما برای آموزش استفاده کنند؟

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, MistralAI-Training, CCBot, Bytespider

آیا سرویس‌های جست‌وجوی هوش مصنوعی اجازه دارند صفحات شما را بخوانند و به‌عنوان منبع معرفی کنند؟

OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer, Amzn-SearchBot, MistralAI-Index, DuckAssistBot, YouBot

آیا دستیارها اجازه دارند وقتی کسی صفحه‌ای را درخواست می‌کند، آن را دریافت کنند؟

ChatGPT-User, Claude-User, Google-Agent, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User

هر بخشی که در robots.txt شما زیر «User-agent: *» مسدود شده است، باید اینجا وارد شود. خزنده‌های نام‌برده‌شده این قواعد را به ارث نمی‌برند.

# KI-Crawler, erstellt mit dem KI-Crawler-Check von aureum-tech.com (Crawler-Liste Stand 14. November 2026)
# Training: gesperrt · KI-Suche: erlaubt · Nutzerabrufe: erlaubt
# Jeder Crawler befolgt nur die Gruppe mit seinem Namen. Was für alle gesperrt sein soll, steht deshalb in jeder Gruppe.

# Training (Schalter wie Google-Extended crawlen nicht selbst, sie regeln nur die Nutzung)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: MistralAI-Training
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

# KI-Suche: liefert Antworten mit Quellenangabe
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: meta-webindexer
Allow: /

User-agent: Amzn-SearchBot
Allow: /

User-agent: MistralAI-Index
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: YouBot
Allow: /

# Nutzerabrufe: laut mehreren Betreibern nicht immer an robots.txt gebunden
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Google-Agent
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: meta-externalfetcher
Allow: /

User-agent: Amzn-User
Allow: /

User-agent: MistralAI-User
Allow: /

# Gemeinsames Trainingssignal (IETF-Entwurf vom 30.10.2026, mehrere Anbieter haben es angekündigt)
User-agent: __usage_ai-training
Disallow: /

ابزار ساخت در مرورگر اجرا می‌شود و چیزی ارسال نمی‌کند.

ابزار ساخت · قالب اولیه llms.txt

فقط صفحاتی که robots.txt شما دسترسی جست‌وجوی هوش مصنوعی به آن‌ها را مجاز کرده است. این قالب اولیه از پیشنهاد llmstxt.org پیروی می‌کند.

# Name Ihrer Firma

> Ein Satz: Wer Sie sind, was Sie anbieten und wo.

## Wichtige Seiten

- [Leistungen](https://ihre-firma.de/leistungen): Was Sie anbieten
- [Kontakt](https://ihre-firma.de/kontakt): Telefon, Adresse, Öffnungszeiten

## Optional

- [Impressum](https://ihre-firma.de/impressum)

در مرورگر اجرا می‌شود. فایل با نام llms.txt در پوشه اصلی سایت قرار می‌گیرد.

رایج‌ترین اشتباه: گروه‌ها چیزی از هم به ارث نمی‌برند

یک خزنده دقیقاً از گروهی پیروی می‌کند که نام خودش را دارد. اگر چنین گروهی وجود داشته باشد، قاعده عمومی دیگر برای آن اعمال نمی‌شود، حتی بخشی از آن. در مثال سمت راست، «User-agent: *» بخش /intern/ را مسدود می‌کند، اما GPTBot گروه جداگانه‌ای با «Allow: /» دارد.

نتیجه برای /intern/preise: دسترسی ClaudeBot مسدود است (خط 2: Disallow: /intern/ (گروه *))، اما GPTBot اجازه خواندن دارد (خط 5: Allow: / (گروه GPTBot)). به همین دلیل، هر چیزی که باید برای همه مسدود باشد، باید در تک‌تک گروه‌های نام‌دار بیاید. در ابزار ساخت، این بخش‌ها را یک‌بار وارد می‌کنید و ابزار آن‌ها را همه‌جا تکرار می‌کند.

User-agent: *
Disallow: /intern/

User-agent: GPTBot
Allow: /

سیگنال مشترک آموزش

از 30 اکتبر 2026 پیش‌نویسی در IETF وجود دارد که قرار است نیاز به مسدودسازی تک‌تک ارائه‌دهندگان را کمتر کند: گروه «User-agent: __usage_ai-training» با «Disallow: /» به همه ارائه‌دهندگان مشارکت‌کننده یکجا می‌گوید که شما اجازه استفاده برای آموزش نمی‌دهید. مسیرها مثل همیشه عمل می‌کنند؛ «Allow: /presse/» پوشه مطبوعاتی را استثنا می‌کند. این گروه دستور خزیدن نیست و صریحاً گفته شده که قاعده عمومی «User-agent: *» برای این منظور به حساب نمی‌آید. چون پیش‌نویس تازه است و هنوز همه ارائه‌دهندگان آن را نمی‌خوانند، ابزار ساخت هر دو را می‌نویسد: گروه‌های جداگانه و سیگنال را.

چه کسانی طبق گفته خودشان سیگنال آموزش را رعایت می‌کنند
ارائه‌دهندهاز چه زمانی
Anthropicاز 30 اکتبر 2026؛ گروهی با نام ClaudeBot اولویت دارد
Microsoft (Bing)از 1 فوریه 2027
Googleبرای 2027 برنامه‌ریزی شده است؛ اگر گروه جداگانه Google-Extended وجود نداشته باشد، Google پاسخ منفی را مانند مسدود بودن Google-Extended تفسیر می‌کند
OpenAI«در ماه‌های آینده»؛ قواعد GPTBot باقی می‌مانند

منبع: draft-kelley-aipref-training-preference-signal-00، هنوز استاندارد نیست و در 3 مه 2027 منقضی می‌شود. آخرین به‌روزرسانی: 14 نوامبر 2026.

خزنده robots.txt شما را چطور می‌خواند

از سپتامبر 2022 این روش در RFC 9309 ثبت شده است و این ابزار هم بر همان اساس ارزیابی می‌کند. فایل همیشه در مسیر /robots.txt در پوشه اصلی قرار دارد و فقط برای همان میزبان معتبر است: اگر ihre-firma.de به www.ihre-firma.de منتقل شود، فایل روی www ملاک است. خزنده دنبال گروهی با نام خودش می‌گردد؛ بزرگ یا کوچک بودن حروف مهم نیست. اگر چنین گروهی نباشد، «User-agent: *» را انتخاب می‌کند؛ اگر آن هم نباشد، به همه‌چیز دسترسی دارد. درون گروه، طولانی‌ترین قاعده منطبق اولویت دارد؛ در صورت برابری، Allow برنده است. ستاره نماینده هر نویسه دلخواه است و علامت دلار در انتها، پایان آدرس را مشخص می‌کند.

در همان سال 2007، بررسی 7,593 سایت نشان داد که استفاده از این فایل رو به افزایش است و ماهیت آن را هم روشن کرد: قاعده‌ای که خزنده‌های درست‌کار رعایت می‌کنند، نه ابزاری برای اجبار Sun و همکاران 2007. این موضوع هنوز تغییری نکرده است.

کد وضعیت robots.txt چه معنایی دارد
پاسخRFC 9309Google
200، فایل متنیقواعد اعمال می‌شوند؛ حداقل 500 KiB خوانده می‌شودهمین‌طور؛ هرچه بعد از 500 KiB باشد نادیده گرفته می‌شود
200، اما یک صفحه وبهیچ خط معتبری وجود ندارد، پس قاعده‌ای هم نیستهمین‌طور
404 و سایر کدهای 4xxrobots.txt وجود ندارد، همه‌چیز مجاز استهمه‌چیز مجاز است، به‌جز در حالت 429
429، درخواست بیش از حدمانند 4xxمانند خطای سرور
5xx یا خارج از دسترسهمه‌چیز مسدود است12 ساعت بدون خزیدن؛ سپس استفاده از آخرین نسخه سالم تا 30 روز
تغییر مسیرحداقل پنج تغییر مسیر دنبال می‌شودحداقل پنج تغییر مسیر؛ پس از آن مانند 404

Google معمولاً فایل را تا 24 ساعت و Amazon تا 30 روز در حافظه موقت نگه می‌دارد. بنابراین تغییرات فوراً اثر نمی‌کنند. دریافت ما حداکثر سه تغییر مسیر را دنبال می‌کند. آخرین به‌روزرسانی: 14 نوامبر 2026.

دستورهای داخل خود صفحات

در کنار robots.txt، هر صفحه هم می‌تواند دستورهایی داشته باشد؛ به شکل متاتگ در بخش سرآیند یا X-Robots-Tag در پاسخ سرور. این ابزار آن‌ها را در صفحه اصلی می‌خواند. برای هوش مصنوعی، مهم‌ترین‌ها این‌ها هستند: noindex صفحه را از فهرست جست‌وجو و در نتیجه از خلاصه‌های هوش مصنوعی حذف می‌کند؛ nosnippet نمایش گزیده متن را در Google ممنوع می‌کند، از جمله در خلاصه‌های هوش مصنوعی و حالت هوش مصنوعی. Amazon، noarchive را به معنی «برای آموزش استفاده نشود» می‌خواند. Microsoft از 1 فوریه 2027 دستورهای جداگانه‌ای برای آموزش و پشتیبانی پاسخ با منابع معرفی می‌کند (ai-training، ai-grounding) و از مارس 2027 دیگر noarchive و nocache را دستور هوش مصنوعی به حساب نمی‌آورد. دستورهایی مثل «noai» رایج‌اند، اما هیچ ارائه‌دهنده‌ای در فهرست ما آن‌ها را مستند نکرده است.

کارهایی که robots.txt انجام نمی‌دهد

  • این فایل یک درخواست است. در آزمایش‌هایی با 130 ربات نام‌دار در طول 40 روز، ربات‌ها قواعد سخت‌گیرانه را کمتر رعایت کردند و خزنده‌های جست‌وجوی هوش مصنوعی اغلب اصلاً فایل را درخواست نکردند Kim و همکاران 2025.
  • فقط بر اساس نام اثر می‌گذارد. با سایت‌هایی که مخصوص این کار آماده شده بودند، مشخص شد کدام دریافت‌کننده اطلاعات کدام سیستم هوش مصنوعی را تأمین می‌کند؛ از جمله چند مورد که ارائه‌دهنده آن‌ها را معرفی نکرده بود Seiden و همکاران 2026. کسی که با نام دیگری می‌آید، مشمول قاعده مربوط به خودش نمی‌شود.
  • دریافت به درخواست کاربر گاهی قواعد را دور می‌زند. خود OpenAI، Perplexity، Meta، Amazon و Google نوشته‌اند که دریافت‌هایشان به درخواست کاربر همیشه robots.txt را رعایت نمی‌کنند. Anthropic و Mistral این فایل را برای کنترل این نوع دریافت هم معرفی کرده‌اند.
  • مسدودسازی قطعی روی سرور انجام می‌شود. هنرمندان اغلب برای استفاده از robots.txt دانش لازم یا دسترسی به سایت خود را نداشتند؛ مسدودسازی روی پراکسی معکوس محافظت مؤثرتری ایجاد کرد Liu و همکاران 2025. از طرف دیگر، بعضی شرکت‌های هاست و سایت‌سازها بدون اطلاع صاحب سایت خزنده‌ها را مسدود می‌کنند: در یکی از نسخه‌های ثبت‌شده Common Crawl، حدود 1.68 درصد سایت‌ها صریحاً دسترسی خزنده را رد کردند Ansar و همکاران 2025. اگر صفحه اصلی شما در پاسخ به درخواست ما صفحه تأیید دسترسی برگرداند، ابزار بررسی آن را گزارش می‌کند.
  • درخواست دریافت ما از طرف خزنده هوش مصنوعی نیست. سرور با شناسه خودش درخواست می‌فرستد. اگر فایروال خزنده‌ها را بر اساس نام مسدود کند، مثلاً با تنظیمی در Cloudflare، این ابزار آن را نمی‌بیند.

از نظر حقوقی چطور؟

طبق § 44b Abs.‎ 3 UrhG، متن‌کاوی و داده‌کاوی روی آثاری که آزادانه در دسترس‌اند مجاز است، مگر اینکه صاحب حقوق، حق مخالفت با این استفاده را برای خود محفوظ کرده باشد؛ برای محتوای آنلاین، فقط اعلامی معتبر است که ماشین بتواند آن را بخواند. robots.txt قابل خواندن توسط ماشین است، اما اینکه به‌تنهایی برای اعلام این حق کافی باشد، هنوز قطعی نشده است. یک پژوهش حقوقی استدلال می‌کند که در کشورهای دارای نظام کامن‌لا، نادیده گرفتن فایل در بعضی شرایط ممکن است مسئولیت حقوقی ایجاد کند Chang و He 2025؛ این موضوع برای آلمان باید جداگانه بررسی شود. بنابراین کسی که می‌خواهد چنین حقی را برای خود محفوظ کند، باید آن را علاوه بر این فایل، در صفحه مشخصات حقوقی (Impressum) یا شرایط استفاده هم بنویسد. این مطلب مشاوره حقوقی نیست.

llms.txt: این فایل چه کاری می‌تواند و چه کاری نمی‌تواند انجام دهد

Jeremy Howard فایل llms.txt را در 3 سپتامبر 2024 پیشنهاد کرد؛ توضیحات آن در llmstxt.org آمده است. این یک فایل Markdown در مسیر /llms.txt است: عنوانی شامل نام که تنها بخش الزامی است، سپس توضیحی کوتاه به شکل نقل‌قول، و در صورت تمایل چند جمله و بخش‌هایی با فهرست لینک مهم‌ترین صفحات. بخشی با عنوان «Optional» مطالبی را نگه می‌دارد که دستیار می‌تواند از آن‌ها بگذرد.

بررسی حدود 4 میلیون دامنه نشان داد که این فایل بیشتر در سایت شرکت‌های فناوری وجود دارد و بعضی لینک‌های آن به صفحاتی می‌روند که robots.txt همان سایت مسدودشان کرده است Hoffmann و همکاران 2026. این ابزار دقیقاً همین موضوع را بررسی می‌کند. راهنمایی به سمت صفحات مسدودشده، به جایی نمی‌رسد.

صادقانه بگوییم: Google در مستندات خلاصه‌های هوش مصنوعی نوشته است که برای این کار نیازی به ساخت فایل‌های جدید قابل خواندن توسط ماشین نیست؛ هیچ‌یک از ارائه‌دهندگان فهرست‌شده در اینجا هم در مستندات خزنده خود ننوشته‌اند که llms.txt سایت‌های دیگر را می‌خوانند. بنابراین این فایل ابزاری برای بیشتر دیده شدن نیست. با این حال مفید است: معرفی کوتاه و مرتبی از شماست که دستیار می‌تواند هنگام دریافت به درخواست کاربر بخواند، و در ده دقیقه هم آماده می‌شود.

فایل خود ما در aureum-tech.com/llms.txt قرار دارد. ابزار ساخت بالا، قالب اولیه فایل شما را آماده می‌کند.

اجازه خواندن داشتن، هنوز به معنی معرفی شدن نیست

این ابزار به یک سؤال مقدماتی پاسخ می‌دهد. اینکه وقتی کسی دنبال برق‌کار در پلاوئن (Plauen) می‌گردد، ChatGPT نام شرکت شما را بیاورد، به محتوای صفحات شما و چیزهایی بستگی دارد که دیگران درباره شما می‌نویسند. در آزمایش‌ها، آماده‌سازی محتوا توانست میزان دیده شدن منابع در پاسخ‌های هوش مصنوعی را تا 40 درصد افزایش دهد؛ روش مؤثر بسته به حوزه تخصصی فرق داشت Aggarwal و همکاران 2024. در یک بررسی Google با 55,393 جست‌وجو، در 13.7 درصد موارد خلاصه هوش مصنوعی ظاهر شد؛ برای جست‌وجوهای پرسشی این رقم 64.7 درصد بود و نزدیک به 30 درصد دامنه‌های ارجاع‌داده‌شده در آن خلاصه‌ها، جزو نتایج صفحه اول نبودند Xu و همکاران 2026.

نام بردن هم به معنی ارجاع درست نیست. در چهار موتور جست‌وجوی هوش مصنوعی، به‌طور میانگین فقط کمی بیش از نیمی از جمله‌ها با منابع معرفی‌شده پشتیبانی می‌شدند Liu و همکاران 2023. همچنین سایت‌هایی که خزنده هوش مصنوعی Google را مسدود می‌کنند، در خلاصه‌های هوش مصنوعی کمتر به‌عنوان منبع استفاده می‌شوند، با اینکه Google نوشته این تنظیم بر جست‌وجو اثر ندارد Grossman و همکاران 2026.

بررسی سریع SpotLens نشان می‌دهد شرکت شما واقعاً چقدر در ChatGPT، Perplexity و هوش مصنوعی Google دیده می‌شود. اینکه چطور محتوا و داده‌های ساختاریافته را آماده می‌کنیم تا جست‌وجوی هوش مصنوعی به آن‌ها ارجاع بدهد، در بخش AI-SEO آمده است. اگر می‌خواهید اول خودتان بررسی کنید، در راهنما می‌خوانید که چطور دیده شدن در ChatGPT را بررسی کنید و دیده شدن کسب‌وکارها در هوش مصنوعی چه معنایی دارد. قواعد جداگانه را در تست robots.txt امتحان کنید؛ ابزارهای بیشتر برای پیدا شدن در جست‌وجو هم در بخش سئو و دیده شدن هستند.

پژوهش‌ها در این باره چه می‌گویند

ارزیابی این ابزار بر 15 پژوهش داوری‌شده تکیه دارد. مهم‌ترین یافته‌ها در ادامه آمده‌اند؛ فهرست کامل همراه با یادداشت بررسی، پایین‌تر قرار دارد.

  • مسدودسازی رو به افزایش است، اما یکسان نیست. ظرف یک سال، بخش بزرگی از منابع داده‌های آموزشی هوش مصنوعی مسدود شد؛ میزان آن برای هر ارائه‌دهنده متفاوت بود Longpre و همکاران 2024. به همین دلیل، ابزار هر خزنده را جداگانه نشان می‌دهد.
  • قواعد به‌صورت گزینشی رعایت می‌شوند. هرچه قاعده سخت‌گیرانه‌تر بود، ربات‌ها کمتر آن را رعایت کردند Kim و همکاران 2025. به همین دلیل، ابزار چیزی را که نمی‌تواند اندازه بگیرد، اندازه‌گیری نمی‌کند و این موضوع را هم اعلام می‌کند.
  • آموزش از طریق آرشیوها انجام می‌شود. Common Crawl یکی از مهم‌ترین منابع پیش‌آموزش است Baack 2024 و مجموعه‌هایی مثل C4 از نسخه‌های ثبت‌شده جداگانه ساخته می‌شوند Dodge و همکاران 2021. به همین دلیل، اگر دسترسی CCBot باز بماند، ابزار هشدار می‌دهد.
  • خلاصه‌های هوش مصنوعی منابع خودشان را انتخاب می‌کنند. بسیاری از دامنه‌های ارجاع‌داده‌شده در صفحه اول نیستند Xu و همکاران 2026 و مسدود بودن خزنده‌های هوش مصنوعی با کمتر نام برده شدن همراه است Grossman و همکاران 2026.
  • llms.txt تازه است و اغلب تناقض دارد. بعضی لینک‌های فایل به صفحات مسدودشده می‌روند Hoffmann و همکاران 2026؛ ابزار هر لینک به صفحات خود سایت را بررسی می‌کند.

استفاده از این ابزار از طریق دستیار هوش مصنوعی

دستیارهایی مثل Claude یا ChatGPT که با Model Context Protocol (MCP) کار می‌کنند، می‌توانند محاسبه این صفحه را مستقیم فراخوانی کنند، به‌جای آنکه خودشان آن را بازسازی کنند. سرور عمومی است، ثبت‌نام لازم ندارد و چیزی ذخیره نمی‌کند. پاسخ همیشه لینک این صفحه، تاریخ به‌روزرسانی داده‌ها و محدودیت‌های نتیجه را در بر دارد.

نقطه اتصال
https://aureum-tech.com/mcp
ابزار
werkzeug_ki_crawler_check
پروتکل انتقال
Streamable HTTP، فقط خواندنی
ورودی‌ها
نامالزامیمعنی
domainنهدامنه سایت، مثلاً ihre-firma.de یا https://www.ihre-firma.de.‎ مسیر نادیده گرفته می‌شود؛ robots.txt همیشه در پوشه ریشه قرار دارد. فقط سایت‌های عمومی، پورت 80 یا 443.
robots_txtنهبه‌جای دامنه: متن یک robots.txt که بدون دریافت از سایت ارزیابی می‌شود. همراه با domain وارد نکنید.
pfadنهمسیری که بررسی برای آن انجام می‌شود، مثلاً /blog/artikel.‎ اگر وارد نشود، صفحه اصلی «/» بررسی می‌شود.

پرسش‌هایی که دستیار باید برایشان این ابزار را فراخوانی کند

  • «آیا ChatGPT اجازه دارد سایت من handwerk-muster.de را بخواند؟»
  • «آیا robots.txt ما اشتباهی جست‌وجوی هوش مصنوعی Perplexity و ChatGPT را مسدود کرده است؟»
  • «چطور استفاده برای آموزش هوش مصنوعی را ممنوع کنم، اما در جست‌وجوی ChatGPT و Claude دیده شوم؟»
  • «آیا www.beispiel-praxis.de فایل llms.txt دارد و آیا لینک‌های آن به صفحات مسدودشده می‌روند؟»

اینکه اتصال چطور کار می‌کند و MCP در کسب‌وکار شما چه کاری از پیش می‌برد، در صفحه یکپارچه‌سازی با MCP آمده است.

پرسش‌های متداول درباره خزنده‌های هوش مصنوعی، robots.txt و llms.txt

چطور آموزش هوش مصنوعی را ممنوع کنم، بدون اینکه از جست‌وجوی ChatGPT حذف شوم؟

OpenAI این دو را جدا کرده است: GPTBot برای آموزش اطلاعات جمع می‌کند و OAI-SearchBot برای جست‌وجو در ChatGPT؛ تنظیم هرکدام مستقل عمل می‌کند. بنابراین در robots.txt برای GPTBot عبارت «Disallow: /» و برای OAI-SearchBot عبارت «Allow: /» قرار می‌گیرد. در Anthropic همین موضوع درباره ClaudeBot و Claude-SearchBot صدق می‌کند؛ در Google هم Google-Extended را مسدود می‌کنید و به Googlebot دست نمی‌زنید. ابزار ساخت در این صفحه، بلوک کامل را برای همه ارائه‌دهندگان فهرست‌شده می‌نویسد.

تفاوت GPTBot، OAI-SearchBot و ChatGPT-User چیست؟

GPTBot محتوایی جمع می‌کند که ممکن است برای آموزش مدل‌های آینده استفاده شود. OAI-SearchBot فهرستی می‌سازد که ChatGPT هنگام جست‌وجو، منابع را از آن معرفی می‌کند؛ طبق گفته OpenAI، سایتی که آن را مسدود کند در پاسخ‌های این جست‌وجو ظاهر نمی‌شود. ChatGPT-User یک صفحه مشخص را دریافت می‌کند، چون کسی در همان لحظه در چت درباره آن پرسیده است. طبق گفته OpenAI، ممکن است قواعد robots.txt برای این نوع دریافت اعمال نشوند.

اگر Google-Extended را مسدود کنم، سایت من از Google حذف می‌شود؟

نه. Google-Extended خزنده مستقلی نیست، بلکه تنظیمی است که مشخص می‌کند آیا Google اجازه دارد محتوای دریافت‌شده را برای آموزش Gemini و پشتیبانی پاسخ‌های Gemini با منابع استفاده کند. طبق گفته Google، این تنظیم نه بر ورود به نتایج جست‌وجو اثر دارد و نه بر رتبه‌بندی. خلاصه‌های هوش مصنوعی در جست‌وجوی Google به Googlebot و قواعد پیش‌نمایش متن مثل nosnippet وابسته‌اند. البته یک بررسی در سال 2026 نشان داد صفحاتی که خزنده هوش مصنوعی Google را مسدود کرده‌اند، کمتر به‌عنوان منبع در خلاصه‌های هوش مصنوعی دیده می‌شوند.

آیا به llms.txt نیاز دارم؟

داشتن آن الزامی نیست. llms.txt پیشنهادی از Jeremy Howard در سپتامبر 2024 است: یک فایل Markdown با عنوان، توضیح کوتاه و لینک مهم‌ترین صفحات. Google صریحاً نوشته است که برای خلاصه‌های هوش مصنوعی نیازی به فایل‌های جدید قابل خواندن توسط ماشین نیست؛ هیچ‌یک از ارائه‌دهندگان فهرست‌شده در اینجا هم در مستندات خزنده خود ننوشته‌اند که این فایل را می‌خوانند. داشتن آن ضرری ندارد و سریع آماده می‌شود؛ ابزار ساخت، قالب اولیه آن را در اختیارتان می‌گذارد. مهم‌تر این است که لینک‌هایش به صفحات مسدودشده نروند.

آیا همه خزنده‌ها از robots.txt پیروی می‌کنند؟

نه. robots.txt یک درخواست است، نه قفل. بررسی‌ها نشان می‌دهند ربات‌ها از قواعد سخت‌گیرانه کمتر پیروی می‌کنند و خزنده‌های جست‌وجوی هوش مصنوعی اغلب اصلاً این فایل را درخواست نمی‌کنند. طبق گفته ارائه‌دهندگان، دریافت به درخواست کاربر با ابزارهایی مثل ChatGPT-User، Perplexity-User یا meta-externalfetcher گاهی robots.txt را نادیده می‌گیرد؛ خزنده‌ای هم که بدون نام اطلاعات جمع کند، در هیچ قاعده‌ای نامش نیامده است. اگر واقعاً می‌خواهید دسترسی را ببندید، باید این کار را روی سرور یا از طریق شرکت هاست انجام دهید.

آیا مسدودسازی بر مدل‌هایی که قبلاً آموزش دیده‌اند هم اثر دارد؟

نه. OpenAI و Anthropic مسدودسازی را پیامی برای آموزش‌های آینده توصیف می‌کنند. داده‌های آموزشی از نسخه‌های ثابت ثبت‌شده از وب، مثلاً آرشیو Common Crawl، ساخته می‌شوند؛ هرچه قبلاً در آن‌ها قرار گرفته، باقی می‌ماند. به همین دلیل، اگر با استفاده برای آموزش مخالفید، بهتر است CCBot را هم در نظر بگیرید.

«User-agent: __usage_ai-training» یعنی چه؟

این سیگنال مشترک آموزش، بر اساس پیش‌نویس IETF به تاریخ 30 اکتبر 2026 است. گروهی با این نام و عبارت «Disallow: /» به همه ارائه‌دهندگان مشارکت‌کننده یکجا اعلام می‌کند که شما اجازه استفاده برای آموزش نمی‌دهید. Anthropic می‌گوید از همین حالا آن را رعایت می‌کند؛ Microsoft از 1 فوریه 2027، Google طبق برنامه در 2027 و OpenAI در ماه‌های آینده آن را رعایت خواهند کرد. این یک دستور خزیدن نیست و صریحاً گفته شده که گروه «User-agent: *» برای این منظور به حساب نمی‌آید.

محدودیت بررسی خزنده‌های هوش مصنوعی چیست؟

این ابزار قواعد robots.txt شما، فایل llms.txt و دستورهای Robots صفحه اصلی را می‌خواند و برای هر خزنده می‌گوید چه چیزی مجاز است. اندازه‌گیری نمی‌کند که آیا خزنده به این قواعد عمل می‌کند یا نه؛ همچنین بررسی نمی‌کند که آیا یک دستیار هوش مصنوعی شرکت شما را می‌شناسد و پیشنهاد می‌دهد. این موضوع را بررسی سریع SpotLens نشان می‌دهد؛ نحوه آماده‌سازی محتوا برای ارجاع در جست‌وجوی هوش مصنوعی هم در بخش AI-SEO آمده است. اگر بخواهید، فایل‌ها را برای شما تنظیم می‌کنیم.

این ابزار بر چه پایه‌ای است

مقادیر راهنما و نکته‌های بالا بر این 15 پژوهش علمی تکیه دارند. هر کدام از طریق DOI یا صفحه ناشر بررسی شده است (آخرین بار 14 نوامبر 2026): وجود دارد، پس گرفته نشده و یافته‌اش امروز هم برای این پرسش معتبر است.

  1. Sun, Y.; Zhuang, Z.; Giles, C.‎ L.‎ (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007)، ص. 1123–1124

    یافته پنج بررسی روی 7,593 سایت نشان می‌دهد که استفاده از robots.txt رو به افزایش است. این فایل ابزار اجبار نیست، بلکه قاعده‌ای است که خزنده‌های درست‌کار رعایت می‌کنند.

    در این ابزار پشتوانه اصل اصلی این صفحه است: robots.txt درخواستی از خزنده‌هاست، نه قفل.

  2. Giles, C.‎ L.; Sun, Y.; Councill, I.‎ G.‎ (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010)، ص. 1101–1102

    یافته بیشتر خزنده‌های تجاری مطابق قواعد رفتار می‌کردند، اما بسیاری از آن‌ها بعضی قواعد robots.txt را بارها نقض می‌کردند یا اشتباه می‌فهمیدند.

    در این ابزار به همین دلیل، ابزار ساخت هر گروه را جداگانه و فقط با Allow و Disallow، بدون نویسه‌های جایگزین می‌نویسد.

  3. Kim, T.; Bock, K.; Luo, C.‎ و همکاران (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، ص. 541–557

    یافته در آزمایش‌های کنترل‌شده با 130 ربات با نام مشخص طی 40 روز، ربات‌ها کمتر به قواعد سخت‌گیرانه پایبند بودند؛ خزنده‌های جست‌وجوی هوش مصنوعی اغلب اصلاً robots.txt را درخواست نمی‌کردند.

    در این ابزار مبنای محدودیت «خواندن قواعد، بدون اندازه‌گیری رفتار» و نکته مربوط به مسدود بودن دریافت‌های درخواستی کاربران است.

  4. Liu, E.; Luo, E.; Shan, S.‎ و همکاران (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 78–99

    یافته اندازه‌گیری‌ها و نظرسنجی از 203 هنرمند نشان می‌دهند که نیاز زیادی به robots.txt وجود دارد، اما کمبود دانش و دسترسی به سایت خود مانع استفاده از آن می‌شود. مسدودسازی در پراکسی معکوس محافظت مؤثرتری داشت، ولی چندان رایج نیست.

    در این ابزار به همین دلیل، برای مسدودسازی قطعی توصیه می‌شود از شرکت هاستینگ یا پراکسی کمک بگیرید؛ ابزار ساخت فایل نیز نیازی به دانستن اصطلاحات تخصصی ندارد.

  5. Seiden, S.; Ren, T.; Zhang, C.‎ و همکاران (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026)، صفحات 6998–7012

    یافته با سایت‌هایی که مخصوص این آزمایش آماده شده بودند و 22 سیستم هوش مصنوعی، مشخص شد کدام دریافت‌کننده داده کدام مدل را تأمین می‌کند؛ از جمله چند دریافت‌کننده که گرداننده آن‌ها معرفی‌شان نکرده است.

    در این ابزار مبنای این محدودیت است که جدول فقط خزنده‌هایی را می‌شناسد که گرداننده‌شان آن‌ها را با نام خودشان مستند کرده است.

  6. Longpre, S.; Mahari, R.; Lee, A.‎ و همکاران (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، صفحات 108042–108087

    یافته بررسی 14,000 دامنه که منبع داده‌های آموزش هوش مصنوعی بودند، در طول یک سال افزایش شدید مسدودسازی، تفاوت‌های زیاد بین ارائه‌دهندگان هوش مصنوعی و تناقض‌های مکرر بین شرایط استفاده و robots.txt را نشان داد.

    در این ابزار به همین دلیل، این بررسی هر خزنده را جداگانه نمایش می‌دهد و فقط به اعلام «هوش مصنوعی مجاز است» یا «هوش مصنوعی مسدود است» بسنده نمی‌کند.

  7. Baack, S.‎ (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024)، صفحات 2199–2208

    یافته Common Crawl بزرگ‌ترین مجموعه آزاد داده‌های وب و یکی از مهم‌ترین منابع پیش‌آموزش مدل‌های زبانی بزرگ است و اغلب سهم بزرگی از محتوای آموزشی را تشکیل می‌دهد.

    در این ابزار به همین دلیل CCBot در دسته آموزش قرار دارد و اگر برخی خزنده‌های آموزشی مسدود باشند ولی CCBot مسدود نباشد، ابزار هشدار می‌دهد.

  8. Dodge, J.; Sap, M.; Marasović, A.‎ و همکاران (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021)، صفحات 1286–1305

    یافته مجموعه متون آموزشی C4 از یک نسخه برداشت‌شده از Common Crawl ساخته شده و متن‌هایی از منابع غیرمنتظره، مثل اسناد ثبت اختراع و سایت‌های نظامی، در آن وجود دارد.

    در این ابزار پشتوانه این توضیح در متن است که مجموعه‌های آموزشی از نسخه‌های ثابت ساخته می‌شوند: ممنوعیتی که بعداً اعمال شود، بر محتوایی که قبلاً در آن‌ها قرار گرفته اثری ندارد.

  9. Aggarwal, P.; Murahari, V.; Rajpurohit, T.‎ و همکاران (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)، صفحات 5–16

    یافته می‌توان محتوا را طوری آماده کرد که ارجاع به آن در موتورهای جست‌وجوی هوش مصنوعی تا 40 درصد بیشتر دیده شود؛ روش مؤثر به حوزه موضوعی بستگی دارد.

    در این ابزار مبنای این تفکیک است: دسترسی پیش‌شرط است، اما محتوا تعیین می‌کند که به آن ارجاع داده شود یا نه. برای این موضوع، صفحه به AI-SEO ارجاع می‌دهد.

  10. Liu, N.; Zhang, T.; Liang, P.‎ (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023، صفحات 7001–7025

    یافته در چهار موتور جست‌وجوی هوش مصنوعی، به‌طور میانگین فقط کمی بیش از نیمی از جمله‌ها کاملاً با منابع پشتیبانی می‌شدند و حدود یک‌چهارم ارجاع‌ها، جمله مربوط را تأیید نمی‌کردند.

    در این ابزار مبنای این محدودیت است که دسترسی آزاد، ارجاع درست را تضمین نمی‌کند: این ابزار امکان خواندن را بررسی می‌کند، نه پاسخ را.

  11. Xu, H.; Iqbal, U.; Montgomery, J.‎ M.‎ (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026)، صفحات 529–546

    یافته از میان 55,393 جست‌وجو، در 13.7 درصد موارد خلاصه هوش مصنوعی نمایش داده شد؛ برای پرسش‌ها این رقم 64.7 درصد بود. نزدیک به 30 درصد دامنه‌هایی که به آن‌ها ارجاع داده شده بود، در نتایج صفحه اول نبودند.

    در این ابزار دلیل حضور Googlebot در بررسی را توضیح می‌دهد: خلاصه‌های هوش مصنوعی منابع را از نمایه جست‌وجو انتخاب می‌کنند، اما نه فقط از نتایج اول.

  12. Grossman, R.; Liu, S.; Chen, M.‎ K.‎ و همکاران (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)، صفحات 448–459

    یافته در 11,500 جست‌وجو، منابع جست‌وجوی Google، خلاصه هوش مصنوعی و Gemini تفاوت زیادی داشتند. سایت‌هایی که خزنده هوش مصنوعی Google را مسدود می‌کنند، کمتر به‌عنوان منبع در خلاصه‌های هوش مصنوعی استفاده می‌شدند.

    در این ابزار نکته‌ای که هنگام مسدود بودن Google-Extended نمایش داده می‌شود، این یافته را در کنار گفته Google قرار می‌دهد که این تنظیم بر جست‌وجو اثری ندارد.

  13. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V.‎ (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56، صفحات 29–41

    یافته اندازه‌گیری روی حدود 4 میلیون دامنه نشان می‌دهد: robots.txt همچنان مهم‌ترین ابزار است و فایل‌های ویژه هوش مصنوعی مثل ai.txt و llms.txt بیشتر در شرکت‌های فناوری رواج پیدا می‌کنند. بعضی لینک‌های فایل‌های llms.txt به صفحه‌هایی می‌رسند که robots.txt آن‌ها را مسدود کرده است.

    در این ابزار به همین دلیل بررسی می‌شود که آیا لینک‌های llms.txt به صفحه‌های مسدودشده می‌رسند یا نه.

  14. Chang, C.-Y.; He, X.‎ (2025): The liabilities of robots.txt. Computer Law & Security Review 58، مقاله 106176

    یافته با هوش مصنوعی مولد، نادیده گرفتن robots.txt پیامدهای جدی‌تری دارد. این پژوهش استدلال می‌کند که در کشورهای دارای نظام حقوقی کامن‌لا، این فایل ممکن است در شرایطی به‌عنوان قرارداد یک‌جانبه یا هشداری با پیامدهای مسئولیت حقوقی عمل کند.

    در این ابزار پشتوانه این نکته است که robots.txt صرفاً موضوعی فنی نیست؛ با این محدودیت که وضعیت حقوقی در آلمان باید جداگانه بررسی شود.

  15. Ansar, M.; Sperotto, A.; Holz, R.‎ (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، صفحات 197–214

    یافته حدود 1.68 درصد سایت‌ها در یک نسخه برداشت‌شده از Common Crawl، صریحاً دسترسی خزنده را رد کردند؛ این کار اغلب توسط شرکت‌های بزرگ هاستینگ و ارائه‌دهندگان سایت‌ساز انجام شده بود، از مسدودسازی تا نمایش صفحه بررسی امنیتی.

    در این ابزار به همین دلیل، اگر صفحه اصلی با صفحه بررسی امنیتی پاسخ دهد، این نکته نمایش داده می‌شود: محافظت در برابر ربات‌ها مستقل از robots.txt دسترسی را مسدود می‌کند.

استانداردها، نهادهای دولتی و اطلاعات سازندگان

دوشنبه تا جمعه، 8 تا 17

نتیجه کپی‌شده را برای ما بفرستید. ما robots.txt، llms.txt و داده‌های ساختاریافته را طوری تنظیم می‌کنیم که جست‌وجوهای هوش مصنوعی بتوانند صفحه‌های شما را بخوانند و آموزش فقط در بخش‌هایی انجام شود که شما می‌خواهید؛ در رودویش (Rodewisch) و سراسر فوگتلند (Vogtland).

+49 3744 4399760[email protected]

دوشنبه تا جمعه 8 تا 17 · Straße der Jugend 5, 08228 Rodewisch

تنظیم دسترسی هوش مصنوعی را به ما بسپارید
+49 3744 4399760دوشنبه تا جمعه، 8 تا 17
زنگ بزنیددرخواست تماس

فهرست قطعات · برگ 1/1

این صفحه از چه ساخته شده است

این مقادیر هنگام ساخت سایت اندازه‌گیری شده‌اند؛ اگر JavaScript فعال باشد، مرورگر شما همین حالا دوباره اندازه می‌گیرد.

ردیفقطعهنوعحجم
01index.htmlسند≈ 29 kB
02styles.cssاستایل‌شیت≈ 20 kB
03scripts.jsاسکریپت≈ 13 kB
04archivo-variable.woff2فونت≈ 58 kB
05ibm-plex-mono.woff2فونت≈ 30 kB
06favicon.svgگرافیک< 1 kB

کوکی تبلیغاتی یا آماری: نداریم. بدون رضایت شما، این سایت چیزی از سرورهای دیگران بارگذاری نمی‌کند، جز از Cloudflare که سایت را به دست شما می‌رساند؛ فونت‌ها، اسکریپت‌ها و تصویرها روی سرور خود ماست. IT شما را هم همین‌طور می‌سازیم.

خارج از ساعت کاری

باز هم با خیال راحت زنگ بزنید

طبق روال، دوشنبه تا جمعه از 8 تا 17 در دفتریم.

عصرها و آخر هفته هم تماس‌های این شماره به ما وصل می‌شود و اغلب کسی جواب می‌دهد. ولی قولش را نمی‌توانیم بدهیم.

اگر کسی جواب نداد، پیام کوتاهی روی پیام‌گیر بگذارید: نام، شماره و موضوع. در اولین فرصت با شما تماس می‌گیریم، حداکثر تا روز کاری بعد.

خود تماس هزینه‌ای ندارد. اگر لازم باشد خارج از ساعت کاری فوراً کسی دست به کار شود، هزینه اضافه درج‌شده در فهرست قیمت‌ها حساب می‌شود.

همین حالا زنگ بزنید+49 3744 4399760

ترجیح می‌دهید بنویسید؟ از فرم تماس استفاده کنید یا به [email protected] ایمیل بزنید. پیامتان را روز کاری بعد می‌خوانیم.

عیب‌یابی · AT-K2

چه پیش آمده؟

↵ انتخابESC بستنتماس: ‎+49 3744 4399760

تنظیمات دلخواه

کدام سرویس‌ها اجازه بارگذاری دارند؟

از نظر فنی ضروری

انتخابی که اینجا می‌کنید و تنظیمات رنگ‌بندی و حرکت. این اطلاعات به‌صورت چند ورودی کوچک روی دستگاه خودتان می‌ماند و هرگز به هیچ سروری فرستاده نمی‌شود. برای کارکرد سایت لازم است و برای همین نمی‌توان آن را غیرفعال کرد.