ابزار AT-W29REV.‎ 2026-A

بررسی خزندۀ هوش مصنوعی: آیا ChatGPT، Claude و Perplexity اجازۀ خواندن ویب‌سایت شما را دارند؟

این‌که یک دستیار هوش مصنوعی اجازۀ خواندن ویب‌سایت شما را دارد یا نه، در robots.txt مشخص می‌شود: برای هر خزنده یک گروه جداگانه؛ در غیر آن قاعدۀ عمومی «User-agent: *» تطبیق می‌شود. هدف تعیین‌کننده است. GPTBot و ClaudeBot برای آموزش، OAI-SearchBot و Claude-SearchBot برای جستجوی هوش مصنوعی معلومات جمع‌آوری می‌کنند و ChatGPT-User زمانی یک صفحه را دریافت می‌کند که کسی در چت درخواست کند. این ابزار قواعد شما را برای 27 خزنده می‌خواند، llms.txt را بررسی می‌کند و بخش مناسب را برای شما می‌نویسد.

  • رایگان
  • بدون ثبت نام
  • 5 دقیقه در حافظۀ موقت

دامین را وارد کنید و دسترسی هر خزنده را ببینید

دریافت · robots.txt، llms.txt و صفحۀ اصلی

این ابزار قواعد را همان‌گونه که امروز در سرور قرار دارند، می‌خواند و مطابق RFC 9309 ارزیابی می‌کند. این‌که خزنده آن‌ها را رعایت کند یا نه، به تصمیم ارائه‌کنندۀ آن بستگی دارد.

مثلاً ihre-firma.de.‎ اگر صفحۀ اصلی به www.‎ هدایت شود، ابزار همان‌جا را بررسی می‌کند.

اگر چیزی وارد نکنید، صفحۀ اصلی بررسی می‌شود. با /blog یا /leistungen می‌بینید که آیا دقیقاً همان بخش باز است.

دامین برای دریافت معلومات به سرور ما فرستاده می‌شود. سرور robots.txt، llms.txt و بخش آغازین صفحۀ اصلی را دریافت می‌کند. دامین و نتیجه در لاگ ثبت نمی‌شوند. برای بررسی‌های بعدی، هر دو حداکثر پنج دقیقه در حافظۀ اصلی سرور (RAM) نگهداری می‌شوند.

بدون دریافت: متن robots.txt را وارد کنید

مثلاً برای فایلی که هنوز آنلاین نیست. متن در براوزر می‌ماند؛ مسیر بالا تطبیق می‌شود.

نتیجه

در بالا یک دامین وارد کنید. دریافت چند ثانیه وقت می‌گیرد.

کدام خزنده‌های هوش مصنوعی وجود دارند و برای چه می‌خوانند

ارائه‌کنندگان بزرگ یک خزنده نمی‌فرستند، بلکه بسته به هدف چندین خزنده دارند. این مهم‌ترین نکته هنگام تنظیم است: کسی که «هوش مصنوعی» را مسدود می‌کند، معمولاً از جستجوی هوش مصنوعی هم حذف می‌شود و دیگر آن‌جا به‌عنوان منبع نام برده نمی‌شود. از سال 2023 ویب‌سایت‌ها ارائه‌کنندگان هوش مصنوعی را بیشتر و به شیوه‌های بسیار متفاوت مسدود می‌کنند؛ پژوهشگران در این میان اغلب میان شرایط استفاده و robots.txt تناقض یافته‌اند Longpre و همکاران 2024. به همین دلیل، این ابزار هر خزنده را جداگانه نشان می‌دهد.

آموزش، مثلاً GPTBOT، CLAUDEBOT، CCBOTویب‌سایت شماROBOTS.TXTخزنده جمع‌آوری می‌کندآیندهمدلجستجوی هوش مصنوعی، مثلاً OAI-SEARCHBOT، PERPLEXITYBOTویب‌سایت شماROBOTS.TXTفهرست جستجوجواب بامنبعدریافت به درخواست کاربر، مثلاً CHATGPT-USERسوال در چتدریافت یک صفحهویب‌سایت شماآموزش، مثلاً GPTBOT،CLAUDEBOT, CCBOTویب‌سایت شماROBOTS.TXTخزنده جمع‌آوری می‌کندمدل آیندهجستجوی هوش مصنوعی، مثلاً OAI-SEARCHBOT،PERPLEXITYBOTویب‌سایت شماROBOTS.TXTفهرست جستجوجواب با منبعدریافت به درخواست کاربر، مثلاً CHATGPT-USERسوال در چتدریافت یک صفحهویب‌سایت شما
شکل 1 · سه راهی که هوش مصنوعی ویب‌سایت شما را می‌خواندطلایی = قاعدۀ شما در ROBOTS.TXT · خط‌چین = قاعده همیشه تطبیق نمی‌شود
چهار نوع، مطابق معلومات ارائه‌کنندگان
نوعمواردچه کار می‌کنند
جستجوی هوش مصنوعی11فهرستی می‌سازد که دستیار هوش مصنوعی یا ماشین جستجو جواب‌های همراه با منبع را از آن می‌گیرد. در صورت مسدودسازی، صفحه کمتر یا اصلاً به‌عنوان منبع در آن ظاهر نمی‌شود.
آموزش6محتوایی جمع‌آوری می‌کند که مدل‌های زبانی از آن یاد می‌گیرند. ممنوعیت بر دورهای آموزشی آینده اثر دارد، نه بر مدل‌هایی که قبلاً آموزش دیده‌اند.
تنظیم اجازۀ آموزش2خزندۀ جداگانه نیست. قاعده به ارائه‌کننده می‌گوید آیا محتوایی را که به هر حال دریافت کرده، برای آموزش استفاده کرده می‌تواند یا نه.
دریافت به درخواست کاربر7یک صفحه را دریافت می‌کند، چون کسی همان لحظه آن را درخواست می‌کند. چندین ارائه‌کننده می‌نویسند که robots.txt برای این کار تطبیق نمی‌شود یا همیشه تطبیق نمی‌شود.

دو مورد به توجه بیشتر نیاز دارند. Common Crawl خودش مدلی را آموزش نمی‌دهد، اما بزرگ‌ترین آرشیف آزاد ویب را می‌سازد و این آرشیف از مهم‌ترین منابع پیش‌آموزش مدل‌های بزرگ زبانی است Baack 2024. برای مثال، مجموعۀ آموزشی مشهور C4 از تنها یک نسخۀ ثبت‌شده از این نوع ساخته شد Dodge و همکاران 2021. پس کسی که آموزش را نمی‌پذیرد، CCBot را هم مسدود می‌کند؛ اما هیچ قاعده‌ای محتوایی را که قبلاً در یک نسخه ثبت شده، پس نمی‌گیرد. مورد دوم Googlebot است: چون خلاصه‌های هوش مصنوعی و حالت هوش مصنوعی جستجوی Google بر فهرست آن تکیه دارند، در این لست آمده است. کسی که می‌خواهد در Google پیدا شود، آن را مسدود نمی‌کند.

همۀ 27 خزندۀ شامل در بررسی

لست خزنده‌ها، بررسی‌شده در 14 نومبر 2026 با اسناد ارائه‌کنندۀ مربوط
نام در robots.txtارائه‌کنندههدفrobots.txt اثر داردارائه‌کننده چه می‌نویسد
OAI-SearchBotOpenAIجستجوی هوش مصنوعیبلی، به گفتۀ ارائه‌کنندهمعلومات جستجو در ChatGPT را فراهم می‌کند. کسی که آن را مسدود کند، در جواب‌ها به‌عنوان منبع ظاهر نمی‌شود.
Claude-SearchBotAnthropicجستجوی هوش مصنوعیبلی، به گفتۀ ارائه‌کنندهبه جستجو در Claude کمک می‌کند. اگر مسدود شود، صفحه کمتر در نتایج ظاهر می‌شود.
GooglebotGoogleجستجوی هوش مصنوعیبلی، به گفتۀ ارائه‌کنندهخزندۀ جستجوی Google.‎ خلاصه‌های هوش مصنوعی و حالت هوش مصنوعی نیز از این فهرست استفاده می‌کنند؛ کنترول آن‌ها از طریق nosnippet، max-snippet و noindex صورت می‌گیرد.
PerplexityBotPerplexityجستجوی هوش مصنوعیبلی، به گفتۀ ارائه‌کنندهفهرستی می‌سازد که Perplexity منابع را از آن لینک می‌دهد. به گفتۀ ارائه‌کننده، برای آموزش مدل‌ها نیست.
ApplebotAppleجستجوی هوش مصنوعیبلی، به گفتۀ ارائه‌کنندهخزندۀ جستجو در Siri، Spotlight و Safari.‎ به گفتۀ Apple، داده‌ها ممکن است برای آموزش مدل‌های Apple هم استفاده شوند؛ Applebot-Extended برای کنترول همین کار است.
meta-webindexerMetaجستجوی هوش مصنوعیبلی، به گفتۀ ارائه‌کنندهبرای جستجو در Meta AI فهرست‌سازی می‌کند تا Meta بتواند به محتوا استناد کند و لینک بدهد.
Amzn-SearchBotAmazonجستجوی هوش مصنوعیبلی، به گفتۀ ارائه‌کنندهبرای قابلیت‌های جستجو در محصولات Amazon مانند Alexa است؛ به گفتۀ Amazon، برای آموزش نیست.
bingbotMicrosoftجستجوی هوش مصنوعیبلی، به گفتۀ ارائه‌کنندهخزندۀ Bing.‎ Microsoft شناسه‌ای جداگانه برای هوش مصنوعی نام نمی‌برد؛ از فبروری 2027، قواعد آموزش و جواب‌های هوش مصنوعی خطاب به Bingbot هستند.
MistralAI-IndexMistralجستجوی هوش مصنوعیبلی، به گفتۀ ارائه‌کنندهفقط برای فهرست جستجو می‌خزد؛ به گفتۀ Mistral، برای آموزش نیست.
DuckAssistBotDuckDuckGoجستجوی هوش مصنوعیبلی، به گفتۀ ارائه‌کنندهصفحه‌ها را همان لحظه برای جواب‌های هوش مصنوعی DuckDuckGo، همراه با ذکر منبع، دریافت می‌کند. به گفتۀ ارائه‌کننده، برای آموزش نیست.
YouBotYou.comجستجوی هوش مصنوعیبلی، به گفتۀ ارائه‌کنندهخزندۀ ماشین جستجوی You.com.‎ robots.txt را همراه با Crawl-delay رعایت می‌کند.
GPTBotOpenAIآموزشبلی، به گفتۀ ارائه‌کنندهمحتوایی جمع‌آوری می‌کند که ممکن است برای آموزش مدل‌های OpenAI استفاده شود. به گفتۀ OpenAI، مسدودسازی یعنی: برای آموزش استفاده نشود.
ClaudeBotAnthropicآموزشبلی، به گفتۀ ارائه‌کنندهمحتوایی جمع‌آوری می‌کند که ممکن است برای آموزش مدل‌های Anthropic استفاده شود. Anthropic هم robots.txt و هم Crawl-delay را رعایت می‌کند.
meta-externalagentMetaآموزشبلی، به گفتۀ ارائه‌کنندهبرای آموزش مدل‌های هوش مصنوعی و محصولات Meta محتوا جمع‌آوری می‌کند.
AmazonbotAmazonآموزشبلی، به گفتۀ ارائه‌کنندهمحصولات Amazon را بهبود می‌دهد؛ این کار ممکن است شامل آموزش مدل‌های هوش مصنوعی Amazon باشد. Crawl-delay را رعایت نمی‌کند.
MistralAI-TrainingMistralآموزشبلی، به گفتۀ ارائه‌کنندهمحتوا را برای داده‌های آموزشی مدل‌های Mistral جمع‌آوری می‌کند.
CCBotCommon Crawlآموزشبلی، به گفتۀ ارائه‌کنندهآرشیفی با دسترسی آزاد از ویب می‌سازد. Common Crawl خودش چیزی را آموزش نمی‌دهد، اما آرشیف آن یکی از مهم‌ترین منابع داده‌های آموزشی است.
Google-ExtendedGoogleتنظیم اجازۀ آموزشبلی، به گفتۀ ارائه‌کنندهخزندۀ جداگانه نیست، بلکه یک تنظیم است: آیا Google می‌تواند محتوای دریافت‌شده را برای آموزش مدل‌های آیندۀ Gemini و مستند ساختن جواب‌های Gemini استفاده کند؟ به گفتۀ Google، این تنظیم بر جستجوی Google اثر ندارد.
Applebot-ExtendedAppleتنظیم اجازۀ آموزشبلی، به گفتۀ ارائه‌کنندهخزندۀ جداگانه نیست. اگر مسدود شود، Apple محتوا را برای آموزش مدل‌هایش استفاده نمی‌کند؛ صفحه در جستجو باقی می‌ماند.
ChatGPT-UserOpenAIدریافت به درخواست کاربرنه همیشهوقتی کسی در ChatGPT یک صفحه را درخواست کند، آن را دریافت می‌کند. به گفتۀ OpenAI، ممکن است قواعد robots.txt برای این کار تطبیق نشوند.
Claude-UserAnthropicدریافت به درخواست کاربربلی، به گفتۀ ارائه‌کنندهوقتی کاربران در Claude سوال می‌کنند، صفحه‌ها را دریافت می‌کند. Anthropic می‌نویسد که بات‌هایش robots.txt را رعایت می‌کنند.
Google-AgentGoogleدریافت به درخواست کاربرنه همیشهبه نمایندگی از کاربر ویب را مرور می‌کند و کارهایی انجام می‌دهد. به گفتۀ Google، دریافت‌های به درخواست کاربر معمولاً robots.txt را نادیده می‌گیرند.
Perplexity-UserPerplexityدریافت به درخواست کاربرنه همیشهوقتی کاربر سوال کند، صفحه‌ها را دریافت می‌کند. به گفتۀ Perplexity، معمولاً robots.txt را نادیده می‌گیرد.
meta-externalfetcherMetaدریافت به درخواست کاربرنه همیشهلینک‌های مشخص را به درخواست کاربر، از جمله برای عامل‌های هوش مصنوعی، دریافت می‌کند. به گفتۀ Meta، ممکن است robots.txt را دور بزند.
Amzn-UserAmazonدریافت به درخواست کاربرنه همیشهبرای سوال کاربر، مثلاً از Alexa، معلومات تازه دریافت می‌کند. به گفتۀ Amazon، همۀ قواعد robots.txt را رعایت نمی‌کند.
MistralAI-UserMistralدریافت به درخواست کاربربلی، به گفتۀ ارائه‌کنندهوقتی کاربر درخواست کند، یک صفحه را دریافت می‌کند و به‌عنوان منبع به آن لینک می‌دهد. به گفتۀ Mistral، گروه robots.txt تعیین می‌کند کدام صفحه‌ها برای این کار در نظر گرفته شوند.
BytespiderByteDanceنامعلومثابت نشدهاسناد ارائه‌کننده یافت نشد. هدف و شیوۀ برخورد با robots.txt مستند نیست.

شامل نشده‌اند: نام‌هایی از فهرست‌های بات که خود ارائه‌کننده ذکر نکرده است، مانند anthropic-ai یا cohere-ai.‎ Cohere مطابق اسناد خودش فعلاً خزنده‌ای ندارد؛ Microsoft شناسه‌ای جداگانه برای هوش مصنوعی نام نمی‌برد و قواعد هوش مصنوعی‌اش خطاب به bingbot هستند. تاریخ معلومات: 14 نومبر 2026.

مسدود کردن آموزش و اجازۀ جستجوی هوش مصنوعی: بخش مناسب

بیشتر شرکت‌ها یک خواست دارند: در جواب‌های ChatGPT، Claude یا Perplexity به‌عنوان منبع ظاهر شوند، اما بدون اجازه مواد آموزشی فراهم نکنند. تنظیم پیش‌فرض سازنده همین است. هر گروه را جداگانه و فقط با Allow و Disallow بدون نویسه‌های جایگزین می‌نویسد، چون حتی خزنده‌های تجارتی هم بعضی قواعد را بارها نادرست می‌فهمند Giles و همکاران 2010. این بخش را در robots.txt موجود خود اضافه کنید؛ گروه «User-agent: *» به همان شکل باقی می‌ماند.

سازنده · بخش robots.txt

آیا ارائه‌کنندگان هوش مصنوعی اجازۀ استفاده از محتوای شما برای آموزش را دارند؟

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, MistralAI-Training, CCBot, Bytespider

آیا خدمات جستجوی هوش مصنوعی اجازۀ خواندن صفحه‌های شما و ذکر آن‌ها به‌عنوان منبع را دارند؟

OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer, Amzn-SearchBot, MistralAI-Index, DuckAssistBot, YouBot

آیا دستیارها اجازه دارند صفحه‌ای را به درخواست کسی دریافت کنند؟

ChatGPT-User, Claude-User, Google-Agent, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User

هر چیزی که در robots.txt شما زیر «User-agent: *» مسدود است، این‌جا وارد شود. خزنده‌های دارای نام این قواعد را به ارث نمی‌برند.

# KI-Crawler, erstellt mit dem KI-Crawler-Check von aureum-tech.com (Crawler-Liste Stand 14. November 2026)
# Training: gesperrt · KI-Suche: erlaubt · Nutzerabrufe: erlaubt
# Jeder Crawler befolgt nur die Gruppe mit seinem Namen. Was für alle gesperrt sein soll, steht deshalb in jeder Gruppe.

# Training (Schalter wie Google-Extended crawlen nicht selbst, sie regeln nur die Nutzung)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: MistralAI-Training
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

# KI-Suche: liefert Antworten mit Quellenangabe
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: meta-webindexer
Allow: /

User-agent: Amzn-SearchBot
Allow: /

User-agent: MistralAI-Index
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: YouBot
Allow: /

# Nutzerabrufe: laut mehreren Betreibern nicht immer an robots.txt gebunden
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Google-Agent
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: meta-externalfetcher
Allow: /

User-agent: Amzn-User
Allow: /

User-agent: MistralAI-User
Allow: /

# Gemeinsames Trainingssignal (IETF-Entwurf vom 30.10.2026, mehrere Anbieter haben es angekündigt)
User-agent: __usage_ai-training
Disallow: /

سازنده در براوزر اجرا می‌شود و چیزی نمی‌فرستد.

سازنده · چارچوب llms.txt

فقط صفحه‌هایی که robots.txt شما برای جستجوی هوش مصنوعی اجازه می‌دهد. چارچوب مطابق پیشنهاد llmstxt.org است.

# Name Ihrer Firma

> Ein Satz: Wer Sie sind, was Sie anbieten und wo.

## Wichtige Seiten

- [Leistungen](https://ihre-firma.de/leistungen): Was Sie anbieten
- [Kontakt](https://ihre-firma.de/kontakt): Telefon, Adresse, Öffnungszeiten

## Optional

- [Impressum](https://ihre-firma.de/impressum)

در براوزر اجرا می‌شود. فایل با نام llms.txt در پوشۀ اصلی ویب‌سایت قرار می‌گیرد.

رایج‌ترین اشتباه: گروه‌ها چیزی به ارث نمی‌برند

خزنده دقیقاً از گروهی پیروی می‌کند که نام خودش را دارد. اگر آن گروه موجود باشد، قاعدۀ عمومی دیگر بر آن تطبیق نمی‌شود، حتی به‌صورت جزئی. در مثال سمت راست، «User-agent: *» بخش /intern/ را مسدود می‌کند، اما GPTBot گروه جداگانه‌ای با «Allow: /» دارد.

نتیجه برای /intern/preise: ClaudeBot مسدود است (سطر 2: Disallow: /intern/ (گروه *))، اما GPTBot اجازۀ خواندن دارد (سطر 5: Allow: / (گروه GPTBot)). پس هر چیزی که باید برای همه مسدود باشد، باید در هر گروه دارای نام هم بیاید. در سازنده، این بخش‌ها را یک بار وارد می‌کنید و سازنده آن‌ها را در همه‌جا تکرار می‌کند.

User-agent: *
Disallow: /intern/

User-agent: GPTBot
Allow: /

نشانۀ مشترک آموزش

از 30 اکتوبر 2026 پیش‌نویسی در IETF وجود دارد که هدفش کوتاه کردن روند مسدودسازی جداگانۀ ارائه‌کنندگان است: یک گروه «User-agent: __usage_ai-training» با «Disallow: /» به همۀ ارائه‌کنندگان شرکت‌کننده یک‌جا می‌گوید که شما آموزش را نمی‌خواهید. مسیرها مثل همیشه کار می‌کنند؛ «Allow: /presse/» بخش رسانه‌ها را مستثنا می‌کند. این گروه فرمان خزیدن نیست و قاعدۀ عمومی «User-agent: *» صریحاً برای آن حساب نمی‌شود. چون پیش‌نویس تازه است و هنوز همۀ ارائه‌کنندگان آن را نمی‌خوانند، سازنده هر دو را می‌نویسد: گروه‌های جداگانه و این نشانه را.

چه کسانی به گفتۀ خودشان نشانۀ آموزش را در نظر می‌گیرند
ارائه‌دهندهاز چه وقت
Anthropicاز 30 اکتوبر 2026؛ گروه دارای نام ClaudeBot اولویت دارد
Microsoft (Bing)از 1 فبروری 2027
Googleبرای 2027 پلان شده؛ اگر گروه جداگانۀ Google-Extended موجود نباشد، Google جواب منفی را مانند مسدود بودن Google-Extended ارزیابی می‌کند
OpenAI«در ماه‌های آینده»؛ قواعد GPTBot باقی می‌مانند

منبع: draft-kelley-aipref-training-preference-signal-00، هنوز معیار رسمی نیست، اعتبارش در 3 می 2027 پایان می‌یابد. تاریخ معلومات: 14 نومبر 2026.

خزنده robots.txt شما را این‌گونه می‌خواند

از سپتمبر 2022 این روش در RFC 9309 ثبت شده و این ابزار هم بر همان اساس حساب می‌کند. فایل همیشه در مسیر /robots.txt در پوشۀ اصلی قرار دارد و فقط برای همان میزبان معتبر است: اگر ihre-firma.de به www.ihre-firma.de هدایت شود، فایل روی www ملاک است. خزنده گروهی با نام خودش را جستجو می‌کند و بزرگی یا کوچکی حروف مهم نیست؛ اگر چنین گروهی نباشد، «User-agent: *» را می‌گیرد و اگر آن هم نباشد، به همه چیز دسترسی دارد. درون گروه، طولانی‌ترین قاعدۀ منطبق اولویت دارد؛ در صورت برابری، Allow اولویت می‌گیرد. ستاره نمایندۀ هر نوع نویسه است و علامت دالر در آخر، پایان آدرس را مشخص می‌کند.

یک بررسی در سال 2007 روی 7.593 ویب‌سایت نشان داد که استفاده از این فایل پیوسته بیشتر می‌شود و ماهیت آن را هم روشن کرد: قاعده‌ای که خزنده‌های مسئول رعایت می‌کنند، نه وسیلۀ اعمال اجباری محدودیت Sun و همکاران 2007. این موضوع تغییر نکرده است.

کود وضعیت robots.txt چه معنا دارد
جوابRFC 9309Google
200، فایل متنیقواعد تطبیق می‌شوند؛ حداقل 500 KiB خوانده می‌شودهمین‌طور؛ هر چیزی بعد از 500 KiB نادیده گرفته می‌شود
200، اما یک صفحۀ ویبهیچ سطر معتبری نیست، پس قاعده‌ای وجود نداردهمین‌طور
404 و دیگر کودهای 4xxrobots.txt وجود ندارد، همه چیز مجاز استهمه چیز مجاز است، به‌جز در حالت 429
429، درخواست‌های بیش از حدمانند 4xxمانند خطای سرور
5xx یا غیرقابل دسترسهمه چیز مسدود است12 ساعت بدون خزیدن؛ پس از آن، استفاده از آخرین نسخۀ سالم تا 30 روز
تغییر مسیرحداقل پنج تغییر مسیر دنبال شودحداقل پنج؛ پس از آن مانند 404

Google معمولاً فایل را تا 24 ساعت و Amazon تا 30 روز ذخیره می‌کند. به همین دلیل تغییرات فوری اثر نمی‌کنند. دریافت ما حداکثر سه تغییر مسیر را دنبال می‌کند. تاریخ معلومات: 14 نومبر 2026.

تنظیمات در خود صفحه‌ها

در کنار robots.txt، هر صفحه تنظیمات خودش را هم دارد؛ به شکل Meta-Tag در سرصفحه یا X-Robots-Tag در جواب سرور. این ابزار آن‌ها را در صفحۀ اصلی می‌خواند. برای هوش مصنوعی، به‌ویژه این موارد مهم‌اند: noindex صفحه را از فهرست جستجو و در نتیجه از خلاصه‌های هوش مصنوعی حذف می‌کند؛ nosnippet نمایش خلاصۀ متن را در Google، از جمله در خلاصه‌های هوش مصنوعی و حالت هوش مصنوعی، منع می‌کند. Amazon، noarchive را به معنای «برای آموزش استفاده نشود» می‌خواند. Microsoft از 1 فبروری 2027 تنظیمات جداگانۀ آموزش و مستند ساختن جواب‌ها را معرفی می‌کند (ai-training، ai-grounding) و از مارچ 2027 دیگر noarchive و nocache را به‌عنوان قاعدۀ هوش مصنوعی نمی‌خواند. تنظیماتی مانند «noai» رایج‌اند، اما هیچ ارائه‌کننده‌ای در لست ما آن‌ها را مستند نکرده است.

robots.txt چه کارهایی را انجام نمی‌دهد

  • این یک درخواست است. در آزمایش‌هایی با 130 بات دارای نام طی 40 روز، بات‌ها قواعد سخت‌گیرانه را کمتر رعایت کردند و خزنده‌های جستجوی هوش مصنوعی اغلب اصلاً فایل را درخواست نکردند Kim و همکاران 2025.
  • فقط با نام‌ها اثر دارد. با ویب‌سایت‌هایی که مخصوصاً برای آزمایش آماده شده بودند، ثابت شد کدام دریافت‌کننده به کدام سیستم هوش مصنوعی معلومات می‌رساند؛ از جمله چندین مورد که ارائه‌کننده‌شان آن‌ها را افشا نمی‌کند Seiden و همکاران 2026. کسی که با نام دیگری بیاید، مشمول قاعدۀ مربوط نمی‌شود.
  • دریافت‌های به درخواست کاربر گاهی آن را دور می‌زنند. OpenAI، Perplexity، Meta، Amazon و Google خودشان می‌نویسند که دریافت‌هایشان به درخواست کاربر همیشه robots.txt را رعایت نمی‌کنند. Anthropic و Mistral این فایل را برای کنترول این نوع دریافت هم معرفی می‌کنند.
  • مسدودسازی قطعی در سرور انجام می‌شود. هنرمندان اغلب برای robots.txt معلومات لازم یا دسترسی به ویب‌سایت خود را نداشتند؛ مسدودسازی در پراکسی معکوس حفاظت مؤثرتری فراهم کرد Liu و همکاران 2025. از سوی دیگر، بعضی میزبان‌ها و سیستم‌های ساخت ویب‌سایت بدون اطلاع مالک، خزنده‌ها را مسدود می‌کنند: در یک نسخۀ ثبت‌شدۀ Common Crawl، حدود 1,68 درصد ویب‌سایت‌ها صریحاً خزنده را رد کردند Ansar و همکاران 2025. اگر صفحۀ اصلی شما در جواب دریافت ما یک صفحۀ بررسی امنیتی نشان دهد، ابزار آن را گزارش می‌کند.
  • دریافت ما خزندۀ هوش مصنوعی نیست. سرور با شناسۀ خودش درخواست می‌فرستد. اگر یک فایروال خزنده‌ها را بر اساس نام مسدود کند، مثلاً از طریق تنظیمی در Cloudflare، این ابزار آن را نمی‌بیند.

از نظر حقوقی چطور؟

مطابق § 44b Abs.‎ 3 UrhG، متن‌کاوی و داده‌کاوی روی آثار دارای دسترسی آزاد مجاز است، تا زمانی که صاحب حق این استفاده را برای خود محفوظ نکرده باشد؛ برای محتوای آنلاین، فقط اعلام محفوظ بودن حق به شکل قابل خواندن توسط ماشین اعتبار دارد. robots.txt برای ماشین قابل خواندن است، اما هنوز به‌طور قطعی روشن نیست که آیا به‌عنوان چنین اعلامی کافی است یا نه. یک پژوهش حقوقی برای کشورهای دارای نظام حقوق عرفی استدلال می‌کند که نادیده گرفتن فایل در بعضی شرایط می‌تواند مسئولیت حقوقی ایجاد کند Chang و He 2025؛ برای آلمان باید این موضوع جداگانه بررسی شود. بنابراین، کسی که می‌خواهد حق خود را محفوظ اعلام کند، این موضوع را در مشخصات شرکت (Impressum) یا شرایط استفاده هم می‌نویسد. این مشورۀ حقوقی نیست.

llms.txt: این فایل چه می‌تواند و چه نمی‌تواند

Jeremy Howard فایل llms.txt را در 3 سپتمبر 2024 پیشنهاد کرد؛ توضیح آن در llmstxt.org آمده است. این یک فایل Markdown در مسیر /llms.txt است: عنوانی با نام، که تنها بخش حتمی است؛ سپس شرح کوتاه به شکل نقل‌قول، در صورت نیاز چند جمله و بخش‌هایی با لست لینک‌های مهم‌ترین صفحه‌ها. بخشی با عنوان «Optional» مواردی را در بر می‌گیرد که دستیار می‌تواند از آن‌ها بگذرد.

یک سنجش روی حدود 4 میلیون دامین، این فایل را بیشتر در شرکت‌های تخنیکی یافت و بعضی لینک‌های آن به صفحه‌هایی می‌رفتند که robots.txt همان ویب‌سایت مسدود کرده بود Hoffmann و همکاران 2026. این ابزار دقیقاً همین را بررسی می‌کند. رهنمایی به صفحه‌های مسدودشده به جایی نمی‌رسد.

صادقانه بگوییم: Google در اسناد خلاصه‌های هوش مصنوعی خود می‌نویسد که برای آن‌ها نیازی به ساخت فایل‌های جدید قابل خواندن توسط ماشین نیست و هیچ‌یک از ارائه‌کنندگان شامل در این بررسی، در اسناد خزندۀ خود ننوشته است که llms.txt ویب‌سایت‌های دیگر را می‌خواند. پس این فایل وسیلۀ افزایش دیده‌شدن نیست. با این حال مفید است: معرفی کوتاه و منظمی که دستیار هنگام دریافت به درخواست کاربر خوانده می‌تواند و در ده دقیقه آماده می‌شود.

فایل خود ما در aureum-tech.com/llms.txt قرار دارد. سازندۀ بالا چارچوب فایل شما را می‌سازد.

اجازۀ خواندن به معنای نام برده شدن نیست

این ابزار به یک سوال مقدماتی جواب می‌دهد. این‌که ChatGPT هنگام جستجوی برق‌کار در پلاون (Plauen) نام شرکت شما را ببرد، به محتوای صفحه‌های شما و آنچه دیگران دربارۀ شما می‌نویسند بستگی دارد. در آزمایش‌ها، با تنظیم محتوا دیده‌شدن منابع در جواب‌های هوش مصنوعی تا 40 درصد افزایش یافت؛ روش‌های مؤثر بسته به حوزۀ تخصصی متفاوت بودند Aggarwal و همکاران 2024. در یک سنجش Google با 55.393 جستجو، در 13,7 درصد موارد خلاصۀ هوش مصنوعی ظاهر شد؛ برای سوال‌ها این رقم 64,7 درصد بود و نزدیک به 30 درصد دامین‌های مورد استناد در آن، در نتایج صفحۀ اول نبودند Xu و همکاران 2026.

نام برده شدن هم به معنای استناد درست نیست. در چهار ماشین جستجوی هوش مصنوعی، به‌طور اوسط فقط کمی بیش از نصف جمله‌ها توسط منابع ذکرشده پشتیبانی می‌شدند Liu و همکاران 2023. همچنان، کسانی که خزندۀ هوش مصنوعی Google را مسدود می‌کنند، کمتر به‌عنوان منبع در خلاصه‌های هوش مصنوعی استفاده می‌شوند؛ با آن‌که Google می‌نویسد این تنظیم بر جستجو اثر ندارد Grossman و همکاران 2026.

این‌که شرکت شما واقعاً چقدر در ChatGPT، Perplexity و هوش مصنوعی Google دیده می‌شود، در بررسی سریع SpotLens مشخص می‌شود. شیوۀ تنظیم محتوا و داده‌های ساختاریافته توسط ما برای استناد جستجوهای هوش مصنوعی، در بخش AI-SEO آمده است. اگر می‌خواهید اول خودتان بررسی کنید، در رهنما می‌یابید که چطور دیده‌شدن در ChatGPT را بررسی کنید و دیده‌شدن شرکت‌ها در هوش مصنوعی چه معنا دارد. قواعد جداگانه را در آزمایش robots.txt امتحان کنید؛ ابزارهای دیگر برای بهتر پیدا شدن در بخش SEO و دیده‌شدن هستند.

تحقیقات علمی در این باره چه می‌گوید

ارزیابی این ابزار بر 15 پژوهش داوری‌شده تکیه دارد. در این‌جا مهم‌ترین یافته‌ها آمده‌اند؛ لست کامل همراه با یادداشت بررسی در پایین‌تر قرار دارد.

  • مسدودسازی بیشتر می‌شود، اما به‌طور نابرابر. در مدت یک سال، بخش‌های بزرگی از منابع داده‌های آموزشی هوش مصنوعی مسدود شدند؛ میزان آن برای هر ارائه‌کننده متفاوت بود Longpre و همکاران 2024. به همین دلیل، این ابزار خزنده‌ها را جداگانه نشان می‌دهد.
  • قواعد به‌صورت گزینشی رعایت می‌شوند. هرچه قاعده سخت‌گیرانه‌تر بود، بات‌ها کمتر آن را رعایت کردند Kim و همکاران 2025. به همین دلیل، این ابزار چیزی را که سنجیده نمی‌تواند، نمی‌سنجد و این محدودیت را بیان می‌کند.
  • آموزش از طریق آرشیف‌ها انجام می‌شود. Common Crawl یکی از مهم‌ترین منابع پیش‌آموزش است Baack 2024 و مجموعه‌هایی مانند C4 از نسخه‌های ثبت‌شدۀ جداگانه ساخته می‌شوند Dodge و همکاران 2021. به همین دلیل، اگر دسترسی CCBot باز بماند، ابزار هشدار می‌دهد.
  • خلاصه‌های هوش مصنوعی منابع خود را انتخاب می‌کنند. بسیاری از دامین‌های مورد استناد در صفحۀ اول نیستند Xu و همکاران 2026 و مسدود بودن خزنده‌های هوش مصنوعی با کمتر نام برده شدن همراه است Grossman و همکاران 2026.
  • llms.txt تازه است و اغلب تناقض دارد. بعضی لینک‌های فایل به صفحه‌های مسدودشده می‌روند Hoffmann و همکاران 2026؛ ابزار هر لینک داخلی را بررسی می‌کند.

استفاده از این ابزار از طریق یک دستیار هوش مصنوعی

دستیارهایی مانند Claude یا ChatGPT که Model Context Protocol (MCP) را می‌فهمند، حساب این صفحه را مستقیم صدا زده می‌توانند، به جای این‌که خودشان دوباره بسازند. سرور عمومی است، به ثبت نام ضرورت ندارد و چیزی ذخیره نمی‌کند. جواب همیشه لینک این صفحه، تاریخ معلومات و حدود نتیجه را در بر دارد.

نقطۀ پایانی (Endpoint)
https://aureum-tech.com/mcp
ابزار
werkzeug_ki_crawler_check
انتقال
Streamable HTTP، فقط خواندنی
ورودی‌ها
نامحتمیمعنا
domainنخیردامین ویب‌سایت، مثلاً ihre-firma.de یا https://www.ihre-firma.de.‎ مسیر نادیده گرفته می‌شود؛ robots.txt همیشه در پوشۀ اصلی قرار دارد. فقط ویب‌سایت‌های عمومی، پورت 80 یا 443.
robots_txtنخیربه‌جای دامین: متن یک robots.txt که بدون دریافت ارزیابی می‌شود. هم‌زمان با domain وارد نکنید.
pfadنخیرمسیری که بررسی می‌شود، مثلاً /blog/artikel.‎ اگر وارد نشود، صفحۀ اصلی «/» بررسی می‌شود.

سوال‌هایی که دستیار باید با آن‌ها این ابزار را صدا بزند

  • «آیا ChatGPT اجازۀ خواندن ویب‌سایت من handwerk-muster.de را دارد؟»
  • «آیا robots.txt ما اشتباهاً جستجوی هوش مصنوعی Perplexity و ChatGPT را مسدود می‌کند؟»
  • «چطور آموزش هوش مصنوعی را ممنوع کنم، اما در جستجوی ChatGPT و Claude دیده شوم؟»
  • «آیا www.beispiel-praxis.de فایل llms.txt دارد و آیا لینک‌های آن به صفحه‌های مسدودشده می‌روند؟»

این‌که اتصال چطور کار می‌کند و MCP در شرکت خود شما چه کرده می‌تواند، در صفحۀ ادغام MCP نوشته شده است.

سوال‌های رایج دربارۀ خزنده‌های هوش مصنوعی، robots.txt و llms.txt

چطور آموزش هوش مصنوعی را مسدود کنم، بدون این‌که از جستجوی ChatGPT حذف شوم؟

OpenAI این دو را جدا می‌کند: GPTBot برای آموزش و OAI-SearchBot برای جستجو در ChatGPT معلومات جمع‌آوری می‌کند و هر تنظیم جداگانه اثر دارد. پس در robots.txt برای GPTBot «Disallow: /» و برای OAI-SearchBot «Allow: /» قرار می‌گیرد. در Anthropic همین اصل برای ClaudeBot و Claude-SearchBot صدق می‌کند؛ در Google، Google-Extended را مسدود می‌کنید و Googlebot را دست نمی‌زنید. سازندۀ این صفحه بخش کامل را برای همۀ ارائه‌کنندگان شامل در بررسی می‌نویسد.

فرق میان GPTBot، OAI-SearchBot و ChatGPT-User چیست؟

GPTBot محتوایی جمع‌آوری می‌کند که ممکن است برای آموزش مدل‌های آینده استفاده شود. OAI-SearchBot فهرستی را می‌سازد که ChatGPT هنگام جستجو منابع را از آن نام می‌برد؛ به گفتۀ OpenAI، هر کس آن را مسدود کند، در آن جواب‌ها ظاهر نمی‌شود. ChatGPT-User یک صفحه را دریافت می‌کند، چون کسی همان لحظه در چت دربارۀ آن می‌پرسد. به گفتۀ OpenAI، ممکن است قواعد robots.txt بر این دریافت تطبیق نشوند.

اگر Google-Extended را مسدود کنم، ویب‌سایت من از Google حذف می‌شود؟

نخیر. Google-Extended خزندۀ جداگانه نیست، بلکه تنظیمی است که تعیین می‌کند آیا Google اجازۀ استفاده از محتوای دریافت‌شده برای آموزش Gemini و مستند ساختن جواب‌های Gemini را دارد یا نه. به گفتۀ Google، این تنظیم نه بر شامل شدن در جستجو اثر دارد و نه بر رتبه‌بندی. خلاصه‌های هوش مصنوعی در جستجوی Google به Googlebot و قواعد نمایش خلاصۀ متن مانند nosnippet وابسته‌اند. با این حال، یک سنجش در سال 2026 نشان داد که صفحاتی با خزندۀ مسدودشدۀ هوش مصنوعی Google، کمتر به‌عنوان منبع در خلاصه‌های هوش مصنوعی ظاهر می‌شوند.

آیا به llms.txt نیاز دارم؟

داشتن آن حتمی نیست. llms.txt پیشنهادی از Jeremy Howard در سپتمبر 2024 است: یک فایل Markdown با عنوان، شرح کوتاه و لینک‌های مهم‌ترین صفحه‌ها. Google صریحاً می‌نویسد که برای خلاصه‌های هوش مصنوعی به فایل‌های جدید قابل خواندن توسط ماشین نیاز نیست و هیچ‌یک از ارائه‌کنندگان شامل در این بررسی، در اسناد خزندۀ خود نگفته است که آن را می‌خواند. ضرری ندارد و زود ساخته می‌شود؛ سازنده چارچوب آن را فراهم می‌کند. مهم‌تر این است که لینک‌های آن به صفحه‌های مسدودشده نروند.

آیا هر خزنده robots.txt را رعایت می‌کند؟

نخیر. robots.txt یک درخواست است، نه قفل. سنجش‌ها نشان می‌دهند که بات‌ها قواعد سخت‌گیرانه‌تر را کمتر رعایت می‌کنند و خزنده‌های جستجوی هوش مصنوعی اغلب اصلاً این فایل را درخواست نمی‌کنند. به گفتۀ ارائه‌کنندگان، دریافت‌هایی به درخواست کاربر مانند ChatGPT-User، Perplexity-User یا meta-externalfetcher گاهی robots.txt را دور می‌زنند و هر کسی که بدون نام معلومات جمع‌آوری کند، در هیچ قاعده‌ای ذکر نمی‌شود. برای مسدود کردن واقعی، باید در سرور یا نزد میزبان ویب‌سایت محدودیت بگذارید.

آیا مسدودسازی بر مدل‌هایی که قبلاً آموزش دیده‌اند هم اثر دارد؟

نخیر. OpenAI و Anthropic مسدودسازی را نشانه‌ای برای آموزش‌های آینده توصیف می‌کنند. داده‌های آموزشی از نسخه‌های ثابت ویب، مثلاً آرشیف Common Crawl، ساخته می‌شوند؛ آنچه قبلاً آن‌جا ذخیره شده، باقی می‌ماند. به همین دلیل، اگر آموزش را نمی‌پذیرید، بهتر است CCBot را هم در نظر بگیرید.

«User-agent: __usage_ai-training» چه معنا دارد؟

این نشانۀ مشترک آموزش مطابق پیش‌نویس IETF به تاریخ 30 اکتوبر 2026 است. یک گروه با این نام و «Disallow: /» به همۀ ارائه‌کنندگان شرکت‌کننده یک‌جا می‌گوید که شما آموزش را نمی‌خواهید. Anthropic به گفتۀ خودش همین حالا آن را در نظر می‌گیرد؛ Microsoft از 1 فبروری 2027، Google طبق پلان در 2027 و OpenAI در ماه‌های آینده آن را در نظر خواهند گرفت. این فرمان خزیدن نیست و گروه «User-agent: *» صریحاً برای آن حساب نمی‌شود.

حدود بررسی خزندۀ هوش مصنوعی کجاست؟

این ابزار قواعد robots.txt، فایل llms.txt و تنظیمات Robots صفحۀ اصلی شما را می‌خواند و برای هر خزنده می‌گوید چه اجازه‌ای دارد. بررسی نمی‌کند که آیا خزنده آن‌ها را رعایت می‌کند یا نه؛ همچنان نمی‌سنجد که آیا یک دستیار هوش مصنوعی شرکت شما را می‌شناسد و پیشنهاد می‌کند. این را بررسی سریع SpotLens نشان می‌دهد؛ این‌که محتوا چطور ساخته شود تا جستجوهای هوش مصنوعی به آن استناد کنند، در بخش AI-SEO آمده است. به درخواست شما این فایل‌ها را تنظیم می‌کنیم.

این ابزار بر چه تکیه دارد

اندازه‌های رهنما و نکته‌های بالا بر این 15 کار علمی استوار است. هر کدام از طریق DOI یا صفحۀ ناشر بررسی شده (آخرین بار 14 نومبر 2026): موجود است، پس گرفته نشده، و یافتۀ آن برای این سوال امروز هم معتبر است.

  1. Sun, Y.; Zhuang, Z.; Giles, C.‎ L.‎ (2007): A large-scale study of robots.txt. مجموعه‌مقالات 16مین کنفرانس بین‌المللی ویب جهانی (WWW 2007)، صفحات 1123–1124

    یافته پنج بررسی روی 7.593 ویب‌سایت نشان می‌دهد که استفاده از robots.txt پیوسته بیشتر می‌شود. این فایل وسیلۀ اعمال اجباری محدودیت نیست، بلکه قاعده‌ای است که خزنده‌های مسئول رعایت می‌کنند.

    در ابزار اصل اساسی این صفحه را پشتیبانی می‌کند: robots.txt درخواستی از خزنده‌هاست، نه قفل.

  2. Giles, C.‎ L.; Sun, Y.; Councill, I.‎ G.‎ (2010): Measuring the web crawler ethics. مجموعه‌مقالات 19مین کنفرانس بین‌المللی ویب جهانی (WWW 2010)، صفحات 1101–1102

    یافته بیشتر خزنده‌های تجارتی مطابق قواعد رفتار کردند، اما بسیاری بعضی قواعد robots.txt را بارها نقض کردند یا نادرست فهمیدند.

    در ابزار به همین دلیل، سازنده هر گروه را جداگانه و فقط با Allow و Disallow بدون نویسه‌های جایگزین می‌نویسد.

  3. Kim, T.; Bock, K.; Luo, C.‎ و همکاران (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. مجموعه‌مقالات کنفرانس سنجش انترنت ACM در سال 2025 (IMC 2025)، صفحات 541–557

    یافته در آزمایش‌های کنترول‌شده با 130 بات نام‌دار طی 40 روز، بات‌ها قواعد سخت‌گیرانه‌تر را کمتر رعایت کردند؛ خزنده‌های جستجوی هوش مصنوعی اغلب اصلاً robots.txt را درخواست نکردند.

    در ابزار این یافته دلیل محدودیت «خواندن قواعد، نه سنجش رفتار» و نکتۀ مربوط به مسدود شدن دریافت‌های درخواستی کاربران است.

  4. Liu, E.; Luo, E.; Shan, S.‎ و دیگران (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 78–99

    یافته اندازه‌گیری‌ها و یک نظرسنجی از 203 هنرمند نشان می‌دهد که نیاز به robots.txt زیاد است، اما کمبود معلومات و دسترسی به ویب‌سایت خودشان مانع ایجاد می‌کند. مسدودسازی در پراکسی معکوس محافظت مؤثرتری فراهم کرد، اما کاربرد آن کم است.

    در ابزار به همین دلیل، برای مسدودسازی قطعی، همکاری با فراهم‌کنندۀ میزبانی یا پراکسی پیشنهاد می‌شود و سازنده‌ای فراهم شده که استفاده از آن نیاز به دانستن اصطلاحات تخصصی ندارد.

  5. Seiden, S.; Ren, T.; Zhang, C.‎ و دیگران (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026)، صفحات 6998–7012

    یافته با ویب‌سایت‌های ویژه آماده‌شده و 22 سیستم هوش مصنوعی، مشخص شد که کدام دریافت‌کننده به کدام مدل معلومات می‌رساند؛ از جمله چند دریافت‌کننده که گردانندۀ آن‌ها هویت‌شان را اعلام نمی‌کند.

    در ابزار این یافته پشتوانۀ این محدودیت است که جدول فقط خزنده‌هایی را می‌شناسد که گردانندۀ آن‌ها با نام خودشان مستند کرده است.

  6. Longpre, S.; Mahari, R.; Lee, A.‎ و دیگران (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، صفحات 108042–108087

    یافته بررسی 14.000 دامنه که منبع داده‌های آموزش هوش مصنوعی بودند، طی یک سال افزایش شدید مسدودسازی، تفاوت‌های بزرگ میان عرضه‌کنندگان هوش مصنوعی و تناقض‌های مکرر میان شرایط استفاده و robots.txt را نشان داد.

    در ابزار به همین دلیل، ابزار هر خزنده را جداگانه نشان می‌دهد، به‌جای این‌که فقط «هوش مصنوعی مجاز است» یا «هوش مصنوعی مسدود است» گزارش دهد.

  7. Baack, S.‎ (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024)، صفحات 2199–2208

    یافته Common Crawl بزرگ‌ترین مجموعۀ آزادانۀ در دسترس از داده‌های ویب و یکی از مهم‌ترین منابع پیش‌آموزش مدل‌های بزرگ زبانی است و اغلب سهم بزرگی از مواد آموزشی را تشکیل می‌دهد.

    در ابزار به همین دلیل، CCBot در بخش آموزش قرار دارد و ابزار هشدار می‌دهد اگر برخی خزنده‌های آموزشی مسدود باشند، اما CCBot مسدود نباشد.

  8. Dodge, J.; Sap, M.; Marasović, A.‎ و دیگران (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021)، صفحات 1286–1305

    یافته پیکرۀ آموزشی C4 از یک نسخۀ برداشت‌شدۀ Common Crawl ساخته شد و متن‌هایی از منابع غیرمنتظره مانند اسناد ثبت اختراع و صفحات نظامی را در بر دارد.

    در ابزار این یافته ادعای متن را پشتیبانی می‌کند که پیکره‌های آموزشی از نسخه‌های ثابت برداشت‌شده ساخته می‌شوند: محتوایی که یک بار در آن‌ها قرار گرفته باشد، با ممنوعیت بعدی از دسترس خارج نمی‌شود.

  9. Aggarwal, P.; Murahari, V.; Rajpurohit, T.‎ و دیگران (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)، صفحات 5–16

    یافته محتوا را طوری آماده کرده می‌توان که ارجاع به آن در موتورهای جستجوی هوش مصنوعی تا 40 درصد بیشتر دیده شود؛ مؤثر بودن روش به حوزۀ تخصصی بستگی دارد.

    در ابزار این یافته پشتوانۀ این تفکیک است: دسترسی پیش‌شرط است؛ این‌که ارجاع داده شود یا نه، به محتوا بستگی دارد. صفحه برای این موضوع به AI-SEO ارجاع می‌دهد.

  10. Liu, N.; Zhang, T.; Liang, P.‎ (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023، صفحات 7001–7025

    یافته در چهار موتور جستجوی هوش مصنوعی، به طور میانگین فقط کمی بیش از نصف جمله‌ها کاملاً با منابع پشتیبانی می‌شدند و حدود یک چهارم ارجاع‌ها، جملۀ مربوط را تأیید نمی‌کردند.

    در ابزار این یافته پشتوانۀ این محدودیت است که دسترسی آزاد، ارجاع درست را تضمین نمی‌کند: ابزار امکان خواندن را بررسی می‌کند، نه جواب را.

  11. Xu, H.; Iqbal, U.; Montgomery, J.‎ M.‎ (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026)، صفحات 529–546

    یافته در 55.393 جستجو، خلاصۀ هوش مصنوعی در 13,7 درصد موارد ظاهر شد؛ برای پرسش‌ها این رقم 64,7 درصد بود. نزدیک به 30 درصد دامنه‌هایی که به آن‌ها ارجاع شده بود، در نتایج صفحۀ اول نبودند.

    در ابزار این یافته توضیح می‌دهد که چرا Googlebot در ابزار بررسی آمده است: خلاصه‌های هوش مصنوعی منابع را از فهرست جستجو انتخاب می‌کنند، اما نه فقط از نتایج نخست.

  12. Grossman, R.; Liu, S.; Chen, M.‎ K.‎ و دیگران (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)، صفحات 448–459

    یافته در 11.500 جستجو، منابع جستجوی Google، خلاصۀ هوش مصنوعی و Gemini تفاوت زیادی داشتند. ویب‌سایت‌هایی که خزندۀ هوش مصنوعی Google را مسدود می‌کنند، کمتر در خلاصه‌های هوش مصنوعی به‌عنوان منبع استفاده شدند.

    در ابزار نکتۀ مربوط به مسدود بودن Google-Extended این یافته را در کنار گفتۀ Google قرار می‌دهد که این تنظیم بر جستجو تأثیر ندارد.

  13. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V.‎ (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56، صفحات 29–41

    یافته اندازه‌گیری روی حدود 4 میلیون دامنه نشان می‌دهد: robots.txt همچنان مهم‌ترین وسیله است؛ فایل‌های ویژۀ هوش مصنوعی مانند ai.txt و llms.txt بیشتر در شرکت‌های تکنالوژی رواج می‌یابند. بعضی لینک‌های فایل‌های llms.txt به صفحاتی اشاره می‌کنند که robots.txt آن‌ها را مسدود کرده است.

    در ابزار به همین دلیل بررسی می‌شود که آیا لینک‌های llms.txt به صفحات مسدودشده اشاره می‌کنند یا نه.

  14. Chang, C.-Y.; He, X.‎ (2025): The liabilities of robots.txt. Computer Law & Security Review 58، مقالۀ 106176

    یافته با هوش مصنوعی مولد، نادیده گرفتن robots.txt پیامدهای جدی‌تری دارد. این تحقیق برای کشورهای دارای نظام کامن‌لا استدلال می‌کند که این فایل در شرایطی می‌تواند به‌عنوان قرارداد یک‌جانبه یا هشداری با پیامدهای مسئولیت حقوقی عمل کند.

    در ابزار این یافته پشتوانۀ این نکته است که robots.txt فراتر از یک موضوع تخنیکی است، با این محدودیت که وضعیت حقوقی در آلمان باید جداگانه بررسی شود.

  15. Ansar, M.; Sperotto, A.; Holz, R.‎ (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، صفحات 197–214

    یافته حدود 1,68 درصد ویب‌سایت‌ها در یک نسخۀ برداشت‌شدۀ Common Crawl صریحاً دسترسی خزنده را رد کردند؛ اغلب از سوی فراهم‌کنندگان بزرگ میزبانی و خدمات ساخت ویب‌سایت، با روش‌هایی از مسدودسازی تا نمایش صفحۀ بررسی.

    در ابزار به همین دلیل، وقتی صفحۀ اصلی یک صفحۀ بررسی برمی‌گرداند، این نکته نمایش داده می‌شود: محافظت در برابر بات‌ها مستقل از robots.txt دسترسی را مسدود می‌کند.

معیارها، ادارات و معلومات تولیدکنندگان

دوشنبه تا جمعه، 8 تا 17

نتیجۀ کاپی‌شده را برای ما بفرستید. ما robots.txt، llms.txt و داده‌های ساختاریافته را طوری تنظیم می‌کنیم که جستجوهای هوش مصنوعی صفحات شما را خوانده بتوانند و آموزش فقط در جایی انجام شود که شما می‌خواهید؛ در رودویش (Rodewisch) و سراسر فوگتلند (Vogtland).

+49 3744 4399760[email protected]

دوشنبه تا جمعه، ساعت 8 تا 17 · Straße der Jugend 5, 08228 Rodewisch

تنظیم دسترسی هوش مصنوعی را به ما بسپارید
+49 3744 4399760دوشنبه تا جمعه، 8 تا 17
زنگ بزنیدتماس برگشتی

لست اجزا · ورق 1/1

این صفحه از چه ساخته شده است

اندازه‌ها هنگام ساختن صفحه گرفته شده — با JavaScript براوزر شما دوباره و زنده اندازه می‌گیرد.

ردیفجزءنوعاندازه
01index.htmlسند≈ 29 kB
02styles.cssاستایل‌شیت≈ 20 kB
03scripts.jsاسکریپت≈ 13 kB
04archivo-variable.woff2فونت≈ 58 kB
05ibm-plex-mono.woff2فونت≈ 30 kB
06favicon.svgگرافیک< 1 kB

کوکی‌های اعلانی یا تحلیلی: هیچ. بدون اجازۀ شما این صفحه از سرورهای بیرونی چیزی بار نمی‌کند، به جز خدمات رسانندۀ ما Cloudflare — فونت‌ها، اسکریپت‌ها و گرافیک‌ها نزد خود ماست. آی‌تی شما را هم همین‌طور می‌سازیم.

بیرون از ساعات کاری

با این هم زنگ زده می‌توانید

به طور عادی دوشنبه تا جمعه، ساعت 8 تا 17 در دفتر هستیم.

شمارۀ ما شام‌ها و آخر هفته هم به ما انتقال می‌یابد و اکثراً کسی جواب می‌دهد. این را وعده داده نمی‌توانیم.

اگر کسی جواب نداد، یک پیام صوتی کوتاه بگذارید: نام، شماره و موضوع. هر چه زودتر زنگ می‌زنیم، حداکثر تا روز کاری بعدی.

خود تماس پولی ندارد. اگر بیرون از ساعات کاری کسی باید فوراً کار کند، اضافه‌پول مطابق لست قیمت‌ها حساب می‌شود.

همین حالا زنگ بزنید+49 3744 4399760

نوشتن را ترجیح می‌دهید؟ از طریق فورم تماس یا به [email protected]. آن را روز کاری بعدی می‌خوانیم.

تشخیص · AT-K2

چه مشکلی دارید؟

↵ انتخابESC بستنزنگ بزنید: +49 3744 4399760

تنظیمات شخصی

کدام خدمات اجازۀ بار شدن دارند؟

از نظر تخنیکی ضروری

تصمیمی که این‌جا می‌گیرید، و تنظیمات رنگ و حرکت. این معلومات به شکل چند ثبت کوچک روی دستگاه شما می‌ماند و هرگز به سرور فرستاده نمی‌شود. برای کار صفحه لازم است و از همین خاطر خاموش شده نمی‌تواند.