ابزار AT-W29REV. 2026-A
بررسی خزندههای هوش مصنوعی: آیا ChatGPT، Claude و Perplexity اجازه خواندن سایت شما را دارند؟
اینکه یک دستیار هوش مصنوعی اجازه خواندن سایت شما را دارد یا نه، در robots.txt مشخص میشود: برای هر خزنده یک گروه جداگانه؛ در غیر این صورت قاعده عمومی «User-agent: *» اعمال میشود. هدف استفاده تعیینکننده است. GPTBot و ClaudeBot برای آموزش اطلاعات جمع میکنند، OAI-SearchBot و Claude-SearchBot برای جستوجوی هوش مصنوعی، و ChatGPT-User وقتی کسی در چت سؤال میکند یک صفحه را دریافت میکند. این ابزار قواعد شما را برای 27 خزنده میخواند، llms.txt را بررسی میکند و بلوک مناسب را برایتان مینویسد.
- رایگان
- بدون ثبتنام
- 5 دقیقه در حافظهٔ موقت
01 / دریافت
دامنه را وارد کنید، وضعیت دسترسی هر خزنده را ببینید
دریافت · robots.txt، llms.txt و صفحه اصلی
این ابزار قواعد را همانطور که امروز روی سرور هستند میخواند و بر اساس RFC 9309 ارزیابی میکند. اینکه یک خزنده آنها را رعایت کند، به تصمیم ارائهدهنده آن بستگی دارد.
بدون دریافت از سایت: متن robots.txt را وارد کنید
مثلاً برای فایلی که هنوز آنلاین نشده است. متن در مرورگر میماند؛ مسیری که بالا وارد کردهاید ملاک قرار میگیرد.
02 / خزندهها
چه خزندههای هوش مصنوعی وجود دارند و برای چه میخوانند
ارائهدهندگان بزرگ بسته به هدف، چند خزنده میفرستند، نه فقط یکی. مهمترین نکته هنگام تنظیم همین است: کسی که «هوش مصنوعی» را مسدود میکند، معمولاً از جستوجوی هوش مصنوعی هم حذف میشود و دیگر آنجا بهعنوان منبع معرفی نمیشود. از 2023، سایتها ارائهدهندگان هوش مصنوعی را بیشتر مسدود میکنند، آن هم به شکلهای بسیار متفاوت؛ پژوهشگران در این میان اغلب بین شرایط استفاده و robots.txt تناقض دیدهاند Longpre و همکاران 2024. به همین دلیل، این ابزار هر خزنده را جداگانه نشان میدهد.
| نوع | موارد | چه کاری انجام میدهند |
|---|---|---|
| جستوجوی هوش مصنوعی | 11 | فهرستی میسازد که دستیار هوش مصنوعی یا موتور جستوجو از آن پاسخهایی همراه با منبع تهیه میکند. اگر مسدود شود، صفحه کمتر یا اصلاً بهعنوان منبع در آنجا ظاهر نمیشود. |
| آموزش | 6 | محتوایی جمع میکند که مدلهای زبانی از آن یاد میگیرند. ممنوعیت بر دورههای آموزشی آینده اثر میگذارد، نه بر مدلهایی که قبلاً آموزش دیدهاند. |
| تنظیم اجازه آموزش | 2 | خزنده مستقلی نیست. این قاعده به ارائهدهنده میگوید آیا اجازه دارد محتوایی را که به هر حال دریافت کرده، برای آموزش استفاده کند. |
| دریافت به درخواست کاربر | 7 | یک صفحه مشخص را دریافت میکند، چون کسی در همان لحظه آن را خواسته است. چند ارائهدهنده نوشتهاند که robots.txt برای این حالت اعمال نمیشود یا همیشه اعمال نمیشود. |
دو مورد نیاز به توجه بیشتری دارند. Common Crawl خودش مدلی را آموزش نمیدهد، اما بزرگترین آرشیو آزاد وب را میسازد؛ این آرشیو از مهمترین منابع پیشآموزش مدلهای زبانی بزرگ است Baack 2024. برای مثال، مجموعه داده آموزشی معروف C4 از تنها یک نسخه ثبتشده از همین نوع ساخته شده است Dodge و همکاران 2021. به همین دلیل، کسی که با استفاده برای آموزش مخالف است، CCBot را هم مسدود میکند؛ اما هیچ قاعدهای نمیتواند چیزی را که قبلاً در یک نسخه ثبتشده قرار گرفته، پس بگیرد. مورد دوم Googlebot است: در این فهرست آمده چون خلاصههای هوش مصنوعی و حالت هوش مصنوعی جستوجوی Google بر فهرست آن تکیه دارند. کسی که میخواهد در Google پیدا شود، آن را مسدود نمیکند.
همه 27 خزنده بررسیشده
| نام در robots.txt | ارائهدهنده | هدف | robots.txt اثر دارد | آنچه ارائهدهنده نوشته است |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | جستوجوی هوش مصنوعی | بله، طبق گفته ارائهدهنده | اطلاعات جستوجوی ChatGPT را تأمین میکند. سایتی که آن را مسدود کند، در پاسخها بهعنوان منبع ظاهر نمیشود. |
| Claude-SearchBot | Anthropic | جستوجوی هوش مصنوعی | بله، طبق گفته ارائهدهنده | برای جستوجوی Claude اطلاعات فراهم میکند. اگر مسدود شود، صفحه کمتر در نتایج آن ظاهر میشود. |
| Googlebot | جستوجوی هوش مصنوعی | بله، طبق گفته ارائهدهنده | خزنده جستوجوی Google. خلاصههای هوش مصنوعی و حالت هوش مصنوعی هم از همین فهرست استفاده میکنند؛ کنترل آنها با nosnippet، max-snippet و noindex انجام میشود. | |
| PerplexityBot | Perplexity | جستوجوی هوش مصنوعی | بله، طبق گفته ارائهدهنده | فهرستی میسازد که Perplexity از آن به منابع لینک میدهد. طبق گفته ارائهدهنده، برای آموزش مدلها نیست. |
| Applebot | Apple | جستوجوی هوش مصنوعی | بله، طبق گفته ارائهدهنده | خزنده جستوجو در Siri، Spotlight و Safari. طبق گفته Apple، دادهها ممکن است در آموزش مدلهای Apple هم استفاده شوند؛ Applebot-Extended برای کنترل همین موضوع است. |
| meta-webindexer | Meta | جستوجوی هوش مصنوعی | بله، طبق گفته ارائهدهنده | برای جستوجو در Meta AI فهرستسازی میکند تا Meta بتواند به محتوا ارجاع بدهد و لینک کند. |
| Amzn-SearchBot | Amazon | جستوجوی هوش مصنوعی | بله، طبق گفته ارائهدهنده | برای قابلیتهای جستوجو در محصولات Amazon مثل Alexa؛ طبق گفته Amazon برای آموزش نیست. |
| bingbot | Microsoft | جستوجوی هوش مصنوعی | بله، طبق گفته ارائهدهنده | خزنده Bing. Microsoft شناسه جداگانهای برای هوش مصنوعی معرفی نکرده است؛ از فوریه 2027 دستورهای مربوط به آموزش و پاسخهای هوش مصنوعی خطاب به Bingbot خواهند بود. |
| MistralAI-Index | Mistral | جستوجوی هوش مصنوعی | بله، طبق گفته ارائهدهنده | فقط برای فهرست جستوجو میخزد؛ طبق گفته Mistral برای آموزش نیست. |
| DuckAssistBot | DuckDuckGo | جستوجوی هوش مصنوعی | بله، طبق گفته ارائهدهنده | صفحات را در لحظه برای پاسخهای هوش مصنوعی DuckDuckGo، همراه با ذکر منبع، دریافت میکند. طبق گفته ارائهدهنده برای آموزش نیست. |
| YouBot | You.com | جستوجوی هوش مصنوعی | بله، طبق گفته ارائهدهنده | خزنده موتور جستوجوی You.com. از robots.txt، از جمله Crawl-delay، پیروی میکند. |
| GPTBot | OpenAI | آموزش | بله، طبق گفته ارائهدهنده | محتوایی جمع میکند که ممکن است برای آموزش مدلهای OpenAI استفاده شود. طبق گفته OpenAI، مسدودسازی یعنی: برای آموزش استفاده نشود. |
| ClaudeBot | Anthropic | آموزش | بله، طبق گفته ارائهدهنده | محتوایی جمع میکند که ممکن است برای آموزش مدلهای Anthropic استفاده شود. Anthropic از robots.txt و همچنین Crawl-delay پیروی میکند. |
| meta-externalagent | Meta | آموزش | بله، طبق گفته ارائهدهنده | برای آموزش مدلهای هوش مصنوعی و محصولات Meta اطلاعات جمع میکند. |
| Amazonbot | Amazon | آموزش | بله، طبق گفته ارائهدهنده | به بهبود محصولات Amazon کمک میکند؛ این کار ممکن است شامل آموزش مدلهای هوش مصنوعی Amazon هم باشد. Crawl-delay را رعایت نمیکند. |
| MistralAI-Training | Mistral | آموزش | بله، طبق گفته ارائهدهنده | محتوا را برای دادههای آموزشی مدلهای Mistral جمع میکند. |
| CCBot | Common Crawl | آموزش | بله، طبق گفته ارائهدهنده | آرشیوی از وب میسازد که دسترسی به آن آزاد است. Common Crawl خودش چیزی را آموزش نمیدهد، اما این آرشیو یکی از مهمترین منابع دادههای آموزشی است. |
| Google-Extended | تنظیم اجازه آموزش | بله، طبق گفته ارائهدهنده | خزنده مستقلی نیست، بلکه یک تنظیم است: آیا محتوای دریافتشده توسط Google اجازه دارد برای آموزش مدلهای آینده Gemini و پشتیبانی پاسخهای Gemini با منابع استفاده شود؟ طبق گفته Google، این تنظیم بر جستوجوی Google اثر ندارد. | |
| Applebot-Extended | Apple | تنظیم اجازه آموزش | بله، طبق گفته ارائهدهنده | خزنده مستقلی نیست. اگر مسدود شود، Apple از محتوا برای آموزش مدلهایش استفاده نمیکند؛ صفحه در جستوجو باقی میماند. |
| ChatGPT-User | OpenAI | دریافت به درخواست کاربر | نه همیشه | وقتی کسی در ChatGPT صفحهای را میخواهد، آن را دریافت میکند. طبق گفته OpenAI، ممکن است قواعد robots.txt برای این کار اعمال نشوند. |
| Claude-User | Anthropic | دریافت به درخواست کاربر | بله، طبق گفته ارائهدهنده | وقتی کاربران در Claude سؤال میکنند، صفحات را دریافت میکند. Anthropic نوشته است که رباتهایش از robots.txt پیروی میکنند. |
| Google-Agent | دریافت به درخواست کاربر | نه همیشه | به درخواست کاربر وبگردی میکند و کارهایی انجام میدهد. طبق گفته Google، دریافت به درخواست کاربر معمولاً robots.txt را نادیده میگیرد. | |
| Perplexity-User | Perplexity | دریافت به درخواست کاربر | نه همیشه | وقتی کاربری سؤال میکند، صفحات را دریافت میکند. طبق گفته Perplexity، معمولاً robots.txt را نادیده میگیرد. |
| meta-externalfetcher | Meta | دریافت به درخواست کاربر | نه همیشه | به درخواست کاربر، لینکهای مشخصی را دریافت میکند؛ از جمله برای عاملهای هوش مصنوعی. طبق گفته Meta ممکن است robots.txt را دور بزند. |
| Amzn-User | Amazon | دریافت به درخواست کاربر | نه همیشه | برای سؤال کاربر، مثلاً از Alexa، اطلاعات بهروز دریافت میکند. طبق گفته Amazon، همه قواعد robots.txt را رعایت نمیکند. |
| MistralAI-User | Mistral | دریافت به درخواست کاربر | بله، طبق گفته ارائهدهنده | وقتی کاربری درخواست میکند، صفحهای را دریافت کرده و بهعنوان منبع به آن لینک میدهد. طبق گفته Mistral، گروه robots.txt مشخص میکند کدام صفحات برای این کار مجازند. |
| Bytespider | ByteDance | نامشخص | مستند نیست | مستنداتی از ارائهدهنده پیدا نشد. هدف و نحوه برخورد با robots.txt مستند نیست. |
در فهرست نیامدهاند: نامهایی از فهرستهای رباتها که خود ارائهدهنده ذکر نکرده است، مثل anthropic-ai یا cohere-ai. طبق مستندات خود Cohere، این شرکت در حال حاضر خزندهای ندارد؛ Microsoft هم شناسه جداگانهای برای هوش مصنوعی معرفی نکرده و دستورهای هوش مصنوعی آن خطاب به bingbot است. آخرین بهروزرسانی: 14 نوامبر 2026.
03 / ابزار ساخت
آموزش را مسدود و جستوجوی هوش مصنوعی را مجاز کنید: بلوک مناسب
بیشتر کسبوکارها یک خواسته مشترک دارند: در پاسخهای ChatGPT، Claude یا Perplexity بهعنوان منبع ظاهر شوند، اما بدون اجازه مطالبشان برای آموزش استفاده نشود. تنظیم پیشفرض ابزار ساخت همین است. هر گروه را جداگانه و فقط با Allow و Disallow، بدون نویسههای جایگزین مینویسد؛ چون حتی خزندههای تجاری هم بعضی قواعد را بارها اشتباه تفسیر میکنند Giles و همکاران 2010. این بلوک را به robots.txt موجود خود اضافه میکنید؛ گروه «User-agent: *» همانطور که هست باقی میماند.
ابزار ساخت · بلوک robots.txt
ابزار ساخت در مرورگر اجرا میشود و چیزی ارسال نمیکند.
ابزار ساخت · قالب اولیه llms.txt
در مرورگر اجرا میشود. فایل با نام llms.txt در پوشه اصلی سایت قرار میگیرد.
رایجترین اشتباه: گروهها چیزی از هم به ارث نمیبرند
یک خزنده دقیقاً از گروهی پیروی میکند که نام خودش را دارد. اگر چنین گروهی وجود داشته باشد، قاعده عمومی دیگر برای آن اعمال نمیشود، حتی بخشی از آن. در مثال سمت راست، «User-agent: *» بخش /intern/ را مسدود میکند، اما GPTBot گروه جداگانهای با «Allow: /» دارد.
نتیجه برای /intern/preise: دسترسی ClaudeBot مسدود است (خط 2: Disallow: /intern/ (گروه *))، اما GPTBot اجازه خواندن دارد (خط 5: Allow: / (گروه GPTBot)). به همین دلیل، هر چیزی که باید برای همه مسدود باشد، باید در تکتک گروههای نامدار بیاید. در ابزار ساخت، این بخشها را یکبار وارد میکنید و ابزار آنها را همهجا تکرار میکند.
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
سیگنال مشترک آموزش
از 30 اکتبر 2026 پیشنویسی در IETF وجود دارد که قرار است نیاز به مسدودسازی تکتک ارائهدهندگان را کمتر کند: گروه «User-agent: __usage_ai-training» با «Disallow: /» به همه ارائهدهندگان مشارکتکننده یکجا میگوید که شما اجازه استفاده برای آموزش نمیدهید. مسیرها مثل همیشه عمل میکنند؛ «Allow: /presse/» پوشه مطبوعاتی را استثنا میکند. این گروه دستور خزیدن نیست و صریحاً گفته شده که قاعده عمومی «User-agent: *» برای این منظور به حساب نمیآید. چون پیشنویس تازه است و هنوز همه ارائهدهندگان آن را نمیخوانند، ابزار ساخت هر دو را مینویسد: گروههای جداگانه و سیگنال را.
| ارائهدهنده | از چه زمانی |
|---|---|
| Anthropic | از 30 اکتبر 2026؛ گروهی با نام ClaudeBot اولویت دارد |
| Microsoft (Bing) | از 1 فوریه 2027 |
| برای 2027 برنامهریزی شده است؛ اگر گروه جداگانه Google-Extended وجود نداشته باشد، Google پاسخ منفی را مانند مسدود بودن Google-Extended تفسیر میکند | |
| OpenAI | «در ماههای آینده»؛ قواعد GPTBot باقی میمانند |
منبع: draft-kelley-aipref-training-preference-signal-00، هنوز استاندارد نیست و در 3 مه 2027 منقضی میشود. آخرین بهروزرسانی: 14 نوامبر 2026.
04 / قواعد
خزنده robots.txt شما را چطور میخواند
از سپتامبر 2022 این روش در RFC 9309 ثبت شده است و این ابزار هم بر همان اساس ارزیابی میکند. فایل همیشه در مسیر /robots.txt در پوشه اصلی قرار دارد و فقط برای همان میزبان معتبر است: اگر ihre-firma.de به www.ihre-firma.de منتقل شود، فایل روی www ملاک است. خزنده دنبال گروهی با نام خودش میگردد؛ بزرگ یا کوچک بودن حروف مهم نیست. اگر چنین گروهی نباشد، «User-agent: *» را انتخاب میکند؛ اگر آن هم نباشد، به همهچیز دسترسی دارد. درون گروه، طولانیترین قاعده منطبق اولویت دارد؛ در صورت برابری، Allow برنده است. ستاره نماینده هر نویسه دلخواه است و علامت دلار در انتها، پایان آدرس را مشخص میکند.
در همان سال 2007، بررسی 7,593 سایت نشان داد که استفاده از این فایل رو به افزایش است و ماهیت آن را هم روشن کرد: قاعدهای که خزندههای درستکار رعایت میکنند، نه ابزاری برای اجبار Sun و همکاران 2007. این موضوع هنوز تغییری نکرده است.
| پاسخ | RFC 9309 | |
|---|---|---|
| 200، فایل متنی | قواعد اعمال میشوند؛ حداقل 500 KiB خوانده میشود | همینطور؛ هرچه بعد از 500 KiB باشد نادیده گرفته میشود |
| 200، اما یک صفحه وب | هیچ خط معتبری وجود ندارد، پس قاعدهای هم نیست | همینطور |
| 404 و سایر کدهای 4xx | robots.txt وجود ندارد، همهچیز مجاز است | همهچیز مجاز است، بهجز در حالت 429 |
| 429، درخواست بیش از حد | مانند 4xx | مانند خطای سرور |
| 5xx یا خارج از دسترس | همهچیز مسدود است | 12 ساعت بدون خزیدن؛ سپس استفاده از آخرین نسخه سالم تا 30 روز |
| تغییر مسیر | حداقل پنج تغییر مسیر دنبال میشود | حداقل پنج تغییر مسیر؛ پس از آن مانند 404 |
Google معمولاً فایل را تا 24 ساعت و Amazon تا 30 روز در حافظه موقت نگه میدارد. بنابراین تغییرات فوراً اثر نمیکنند. دریافت ما حداکثر سه تغییر مسیر را دنبال میکند. آخرین بهروزرسانی: 14 نوامبر 2026.
دستورهای داخل خود صفحات
در کنار robots.txt، هر صفحه هم میتواند دستورهایی داشته باشد؛ به شکل متاتگ در بخش سرآیند یا X-Robots-Tag در پاسخ سرور. این ابزار آنها را در صفحه اصلی میخواند. برای هوش مصنوعی، مهمترینها اینها هستند: noindex صفحه را از فهرست جستوجو و در نتیجه از خلاصههای هوش مصنوعی حذف میکند؛ nosnippet نمایش گزیده متن را در Google ممنوع میکند، از جمله در خلاصههای هوش مصنوعی و حالت هوش مصنوعی. Amazon، noarchive را به معنی «برای آموزش استفاده نشود» میخواند. Microsoft از 1 فوریه 2027 دستورهای جداگانهای برای آموزش و پشتیبانی پاسخ با منابع معرفی میکند (ai-training، ai-grounding) و از مارس 2027 دیگر noarchive و nocache را دستور هوش مصنوعی به حساب نمیآورد. دستورهایی مثل «noai» رایجاند، اما هیچ ارائهدهندهای در فهرست ما آنها را مستند نکرده است.
05 / محدودیتها
کارهایی که robots.txt انجام نمیدهد
- این فایل یک درخواست است. در آزمایشهایی با 130 ربات نامدار در طول 40 روز، رباتها قواعد سختگیرانه را کمتر رعایت کردند و خزندههای جستوجوی هوش مصنوعی اغلب اصلاً فایل را درخواست نکردند Kim و همکاران 2025.
- فقط بر اساس نام اثر میگذارد. با سایتهایی که مخصوص این کار آماده شده بودند، مشخص شد کدام دریافتکننده اطلاعات کدام سیستم هوش مصنوعی را تأمین میکند؛ از جمله چند مورد که ارائهدهنده آنها را معرفی نکرده بود Seiden و همکاران 2026. کسی که با نام دیگری میآید، مشمول قاعده مربوط به خودش نمیشود.
- دریافت به درخواست کاربر گاهی قواعد را دور میزند. خود OpenAI، Perplexity، Meta، Amazon و Google نوشتهاند که دریافتهایشان به درخواست کاربر همیشه robots.txt را رعایت نمیکنند. Anthropic و Mistral این فایل را برای کنترل این نوع دریافت هم معرفی کردهاند.
- مسدودسازی قطعی روی سرور انجام میشود. هنرمندان اغلب برای استفاده از robots.txt دانش لازم یا دسترسی به سایت خود را نداشتند؛ مسدودسازی روی پراکسی معکوس محافظت مؤثرتری ایجاد کرد Liu و همکاران 2025. از طرف دیگر، بعضی شرکتهای هاست و سایتسازها بدون اطلاع صاحب سایت خزندهها را مسدود میکنند: در یکی از نسخههای ثبتشده Common Crawl، حدود 1.68 درصد سایتها صریحاً دسترسی خزنده را رد کردند Ansar و همکاران 2025. اگر صفحه اصلی شما در پاسخ به درخواست ما صفحه تأیید دسترسی برگرداند، ابزار بررسی آن را گزارش میکند.
- درخواست دریافت ما از طرف خزنده هوش مصنوعی نیست. سرور با شناسه خودش درخواست میفرستد. اگر فایروال خزندهها را بر اساس نام مسدود کند، مثلاً با تنظیمی در Cloudflare، این ابزار آن را نمیبیند.
از نظر حقوقی چطور؟
طبق § 44b Abs. 3 UrhG، متنکاوی و دادهکاوی روی آثاری که آزادانه در دسترساند مجاز است، مگر اینکه صاحب حقوق، حق مخالفت با این استفاده را برای خود محفوظ کرده باشد؛ برای محتوای آنلاین، فقط اعلامی معتبر است که ماشین بتواند آن را بخواند. robots.txt قابل خواندن توسط ماشین است، اما اینکه بهتنهایی برای اعلام این حق کافی باشد، هنوز قطعی نشده است. یک پژوهش حقوقی استدلال میکند که در کشورهای دارای نظام کامنلا، نادیده گرفتن فایل در بعضی شرایط ممکن است مسئولیت حقوقی ایجاد کند Chang و He 2025؛ این موضوع برای آلمان باید جداگانه بررسی شود. بنابراین کسی که میخواهد چنین حقی را برای خود محفوظ کند، باید آن را علاوه بر این فایل، در صفحه مشخصات حقوقی (Impressum) یا شرایط استفاده هم بنویسد. این مطلب مشاوره حقوقی نیست.
06 / LLMS.TXT
llms.txt: این فایل چه کاری میتواند و چه کاری نمیتواند انجام دهد
Jeremy Howard فایل llms.txt را در 3 سپتامبر 2024 پیشنهاد کرد؛ توضیحات آن در llmstxt.org آمده است. این یک فایل Markdown در مسیر /llms.txt است: عنوانی شامل نام که تنها بخش الزامی است، سپس توضیحی کوتاه به شکل نقلقول، و در صورت تمایل چند جمله و بخشهایی با فهرست لینک مهمترین صفحات. بخشی با عنوان «Optional» مطالبی را نگه میدارد که دستیار میتواند از آنها بگذرد.
بررسی حدود 4 میلیون دامنه نشان داد که این فایل بیشتر در سایت شرکتهای فناوری وجود دارد و بعضی لینکهای آن به صفحاتی میروند که robots.txt همان سایت مسدودشان کرده است Hoffmann و همکاران 2026. این ابزار دقیقاً همین موضوع را بررسی میکند. راهنمایی به سمت صفحات مسدودشده، به جایی نمیرسد.
صادقانه بگوییم: Google در مستندات خلاصههای هوش مصنوعی نوشته است که برای این کار نیازی به ساخت فایلهای جدید قابل خواندن توسط ماشین نیست؛ هیچیک از ارائهدهندگان فهرستشده در اینجا هم در مستندات خزنده خود ننوشتهاند که llms.txt سایتهای دیگر را میخوانند. بنابراین این فایل ابزاری برای بیشتر دیده شدن نیست. با این حال مفید است: معرفی کوتاه و مرتبی از شماست که دستیار میتواند هنگام دریافت به درخواست کاربر بخواند، و در ده دقیقه هم آماده میشود.
فایل خود ما در aureum-tech.com/llms.txt قرار دارد. ابزار ساخت بالا، قالب اولیه فایل شما را آماده میکند.
07 / دیده شدن
اجازه خواندن داشتن، هنوز به معنی معرفی شدن نیست
این ابزار به یک سؤال مقدماتی پاسخ میدهد. اینکه وقتی کسی دنبال برقکار در پلاوئن (Plauen) میگردد، ChatGPT نام شرکت شما را بیاورد، به محتوای صفحات شما و چیزهایی بستگی دارد که دیگران درباره شما مینویسند. در آزمایشها، آمادهسازی محتوا توانست میزان دیده شدن منابع در پاسخهای هوش مصنوعی را تا 40 درصد افزایش دهد؛ روش مؤثر بسته به حوزه تخصصی فرق داشت Aggarwal و همکاران 2024. در یک بررسی Google با 55,393 جستوجو، در 13.7 درصد موارد خلاصه هوش مصنوعی ظاهر شد؛ برای جستوجوهای پرسشی این رقم 64.7 درصد بود و نزدیک به 30 درصد دامنههای ارجاعدادهشده در آن خلاصهها، جزو نتایج صفحه اول نبودند Xu و همکاران 2026.
نام بردن هم به معنی ارجاع درست نیست. در چهار موتور جستوجوی هوش مصنوعی، بهطور میانگین فقط کمی بیش از نیمی از جملهها با منابع معرفیشده پشتیبانی میشدند Liu و همکاران 2023. همچنین سایتهایی که خزنده هوش مصنوعی Google را مسدود میکنند، در خلاصههای هوش مصنوعی کمتر بهعنوان منبع استفاده میشوند، با اینکه Google نوشته این تنظیم بر جستوجو اثر ندارد Grossman و همکاران 2026.
بررسی سریع SpotLens نشان میدهد شرکت شما واقعاً چقدر در ChatGPT، Perplexity و هوش مصنوعی Google دیده میشود. اینکه چطور محتوا و دادههای ساختاریافته را آماده میکنیم تا جستوجوی هوش مصنوعی به آنها ارجاع بدهد، در بخش AI-SEO آمده است. اگر میخواهید اول خودتان بررسی کنید، در راهنما میخوانید که چطور دیده شدن در ChatGPT را بررسی کنید و دیده شدن کسبوکارها در هوش مصنوعی چه معنایی دارد. قواعد جداگانه را در تست robots.txt امتحان کنید؛ ابزارهای بیشتر برای پیدا شدن در جستوجو هم در بخش سئو و دیده شدن هستند.
08 / پژوهش
پژوهشها در این باره چه میگویند
ارزیابی این ابزار بر 15 پژوهش داوریشده تکیه دارد. مهمترین یافتهها در ادامه آمدهاند؛ فهرست کامل همراه با یادداشت بررسی، پایینتر قرار دارد.
- مسدودسازی رو به افزایش است، اما یکسان نیست. ظرف یک سال، بخش بزرگی از منابع دادههای آموزشی هوش مصنوعی مسدود شد؛ میزان آن برای هر ارائهدهنده متفاوت بود Longpre و همکاران 2024. به همین دلیل، ابزار هر خزنده را جداگانه نشان میدهد.
- قواعد بهصورت گزینشی رعایت میشوند. هرچه قاعده سختگیرانهتر بود، رباتها کمتر آن را رعایت کردند Kim و همکاران 2025. به همین دلیل، ابزار چیزی را که نمیتواند اندازه بگیرد، اندازهگیری نمیکند و این موضوع را هم اعلام میکند.
- آموزش از طریق آرشیوها انجام میشود. Common Crawl یکی از مهمترین منابع پیشآموزش است Baack 2024 و مجموعههایی مثل C4 از نسخههای ثبتشده جداگانه ساخته میشوند Dodge و همکاران 2021. به همین دلیل، اگر دسترسی CCBot باز بماند، ابزار هشدار میدهد.
- خلاصههای هوش مصنوعی منابع خودشان را انتخاب میکنند. بسیاری از دامنههای ارجاعدادهشده در صفحه اول نیستند Xu و همکاران 2026 و مسدود بودن خزندههای هوش مصنوعی با کمتر نام برده شدن همراه است Grossman و همکاران 2026.
- llms.txt تازه است و اغلب تناقض دارد. بعضی لینکهای فایل به صفحات مسدودشده میروند Hoffmann و همکاران 2026؛ ابزار هر لینک به صفحات خود سایت را بررسی میکند.
09 / برای دستیارهای هوش مصنوعی
استفاده از این ابزار از طریق دستیار هوش مصنوعی
دستیارهایی مثل Claude یا ChatGPT که با Model Context Protocol (MCP) کار میکنند، میتوانند محاسبه این صفحه را مستقیم فراخوانی کنند، بهجای آنکه خودشان آن را بازسازی کنند. سرور عمومی است، ثبتنام لازم ندارد و چیزی ذخیره نمیکند. پاسخ همیشه لینک این صفحه، تاریخ بهروزرسانی دادهها و محدودیتهای نتیجه را در بر دارد.
- نقطه اتصال
https://aureum-tech.com/mcp- ابزار
werkzeug_ki_crawler_check- پروتکل انتقال
- Streamable HTTP، فقط خواندنی
| نام | الزامی | معنی |
|---|---|---|
domain | نه | دامنه سایت، مثلاً ihre-firma.de یا https://www.ihre-firma.de. مسیر نادیده گرفته میشود؛ robots.txt همیشه در پوشه ریشه قرار دارد. فقط سایتهای عمومی، پورت 80 یا 443. |
robots_txt | نه | بهجای دامنه: متن یک robots.txt که بدون دریافت از سایت ارزیابی میشود. همراه با domain وارد نکنید. |
pfad | نه | مسیری که بررسی برای آن انجام میشود، مثلاً /blog/artikel. اگر وارد نشود، صفحه اصلی «/» بررسی میشود. |
پرسشهایی که دستیار باید برایشان این ابزار را فراخوانی کند
- «آیا ChatGPT اجازه دارد سایت من handwerk-muster.de را بخواند؟»
- «آیا robots.txt ما اشتباهی جستوجوی هوش مصنوعی Perplexity و ChatGPT را مسدود کرده است؟»
- «چطور استفاده برای آموزش هوش مصنوعی را ممنوع کنم، اما در جستوجوی ChatGPT و Claude دیده شوم؟»
- «آیا www.beispiel-praxis.de فایل llms.txt دارد و آیا لینکهای آن به صفحات مسدودشده میروند؟»
اینکه اتصال چطور کار میکند و MCP در کسبوکار شما چه کاری از پیش میبرد، در صفحه یکپارچهسازی با MCP آمده است.
10 / پرسشهای متداول
پرسشهای متداول درباره خزندههای هوش مصنوعی، robots.txt و llms.txt
چطور آموزش هوش مصنوعی را ممنوع کنم، بدون اینکه از جستوجوی ChatGPT حذف شوم؟
OpenAI این دو را جدا کرده است: GPTBot برای آموزش اطلاعات جمع میکند و OAI-SearchBot برای جستوجو در ChatGPT؛ تنظیم هرکدام مستقل عمل میکند. بنابراین در robots.txt برای GPTBot عبارت «Disallow: /» و برای OAI-SearchBot عبارت «Allow: /» قرار میگیرد. در Anthropic همین موضوع درباره ClaudeBot و Claude-SearchBot صدق میکند؛ در Google هم Google-Extended را مسدود میکنید و به Googlebot دست نمیزنید. ابزار ساخت در این صفحه، بلوک کامل را برای همه ارائهدهندگان فهرستشده مینویسد.
تفاوت GPTBot، OAI-SearchBot و ChatGPT-User چیست؟
GPTBot محتوایی جمع میکند که ممکن است برای آموزش مدلهای آینده استفاده شود. OAI-SearchBot فهرستی میسازد که ChatGPT هنگام جستوجو، منابع را از آن معرفی میکند؛ طبق گفته OpenAI، سایتی که آن را مسدود کند در پاسخهای این جستوجو ظاهر نمیشود. ChatGPT-User یک صفحه مشخص را دریافت میکند، چون کسی در همان لحظه در چت درباره آن پرسیده است. طبق گفته OpenAI، ممکن است قواعد robots.txt برای این نوع دریافت اعمال نشوند.
اگر Google-Extended را مسدود کنم، سایت من از Google حذف میشود؟
نه. Google-Extended خزنده مستقلی نیست، بلکه تنظیمی است که مشخص میکند آیا Google اجازه دارد محتوای دریافتشده را برای آموزش Gemini و پشتیبانی پاسخهای Gemini با منابع استفاده کند. طبق گفته Google، این تنظیم نه بر ورود به نتایج جستوجو اثر دارد و نه بر رتبهبندی. خلاصههای هوش مصنوعی در جستوجوی Google به Googlebot و قواعد پیشنمایش متن مثل nosnippet وابستهاند. البته یک بررسی در سال 2026 نشان داد صفحاتی که خزنده هوش مصنوعی Google را مسدود کردهاند، کمتر بهعنوان منبع در خلاصههای هوش مصنوعی دیده میشوند.
آیا به llms.txt نیاز دارم؟
داشتن آن الزامی نیست. llms.txt پیشنهادی از Jeremy Howard در سپتامبر 2024 است: یک فایل Markdown با عنوان، توضیح کوتاه و لینک مهمترین صفحات. Google صریحاً نوشته است که برای خلاصههای هوش مصنوعی نیازی به فایلهای جدید قابل خواندن توسط ماشین نیست؛ هیچیک از ارائهدهندگان فهرستشده در اینجا هم در مستندات خزنده خود ننوشتهاند که این فایل را میخوانند. داشتن آن ضرری ندارد و سریع آماده میشود؛ ابزار ساخت، قالب اولیه آن را در اختیارتان میگذارد. مهمتر این است که لینکهایش به صفحات مسدودشده نروند.
آیا همه خزندهها از robots.txt پیروی میکنند؟
نه. robots.txt یک درخواست است، نه قفل. بررسیها نشان میدهند رباتها از قواعد سختگیرانه کمتر پیروی میکنند و خزندههای جستوجوی هوش مصنوعی اغلب اصلاً این فایل را درخواست نمیکنند. طبق گفته ارائهدهندگان، دریافت به درخواست کاربر با ابزارهایی مثل ChatGPT-User، Perplexity-User یا meta-externalfetcher گاهی robots.txt را نادیده میگیرد؛ خزندهای هم که بدون نام اطلاعات جمع کند، در هیچ قاعدهای نامش نیامده است. اگر واقعاً میخواهید دسترسی را ببندید، باید این کار را روی سرور یا از طریق شرکت هاست انجام دهید.
آیا مسدودسازی بر مدلهایی که قبلاً آموزش دیدهاند هم اثر دارد؟
نه. OpenAI و Anthropic مسدودسازی را پیامی برای آموزشهای آینده توصیف میکنند. دادههای آموزشی از نسخههای ثابت ثبتشده از وب، مثلاً آرشیو Common Crawl، ساخته میشوند؛ هرچه قبلاً در آنها قرار گرفته، باقی میماند. به همین دلیل، اگر با استفاده برای آموزش مخالفید، بهتر است CCBot را هم در نظر بگیرید.
«User-agent: __usage_ai-training» یعنی چه؟
این سیگنال مشترک آموزش، بر اساس پیشنویس IETF به تاریخ 30 اکتبر 2026 است. گروهی با این نام و عبارت «Disallow: /» به همه ارائهدهندگان مشارکتکننده یکجا اعلام میکند که شما اجازه استفاده برای آموزش نمیدهید. Anthropic میگوید از همین حالا آن را رعایت میکند؛ Microsoft از 1 فوریه 2027، Google طبق برنامه در 2027 و OpenAI در ماههای آینده آن را رعایت خواهند کرد. این یک دستور خزیدن نیست و صریحاً گفته شده که گروه «User-agent: *» برای این منظور به حساب نمیآید.
محدودیت بررسی خزندههای هوش مصنوعی چیست؟
این ابزار قواعد robots.txt شما، فایل llms.txt و دستورهای Robots صفحه اصلی را میخواند و برای هر خزنده میگوید چه چیزی مجاز است. اندازهگیری نمیکند که آیا خزنده به این قواعد عمل میکند یا نه؛ همچنین بررسی نمیکند که آیا یک دستیار هوش مصنوعی شرکت شما را میشناسد و پیشنهاد میدهد. این موضوع را بررسی سریع SpotLens نشان میدهد؛ نحوه آمادهسازی محتوا برای ارجاع در جستوجوی هوش مصنوعی هم در بخش AI-SEO آمده است. اگر بخواهید، فایلها را برای شما تنظیم میکنیم.
11 / پژوهشها و منابع
این ابزار بر چه پایهای است
مقادیر راهنما و نکتههای بالا بر این 15 پژوهش علمی تکیه دارند. هر کدام از طریق DOI یا صفحه ناشر بررسی شده است (آخرین بار 14 نوامبر 2026): وجود دارد، پس گرفته نشده و یافتهاش امروز هم برای این پرسش معتبر است.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007)، ص. 1123–1124
یافته پنج بررسی روی 7,593 سایت نشان میدهد که استفاده از robots.txt رو به افزایش است. این فایل ابزار اجبار نیست، بلکه قاعدهای است که خزندههای درستکار رعایت میکنند.
در این ابزار پشتوانه اصل اصلی این صفحه است: robots.txt درخواستی از خزندههاست، نه قفل.
doi.org/10.1145/1242572.1242726 · مقاله کنفرانس
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010)، ص. 1101–1102
یافته بیشتر خزندههای تجاری مطابق قواعد رفتار میکردند، اما بسیاری از آنها بعضی قواعد robots.txt را بارها نقض میکردند یا اشتباه میفهمیدند.
در این ابزار به همین دلیل، ابزار ساخت هر گروه را جداگانه و فقط با Allow و Disallow، بدون نویسههای جایگزین مینویسد.
doi.org/10.1145/1772690.1772824 · مقاله کنفرانس
Kim, T.; Bock, K.; Luo, C. و همکاران (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، ص. 541–557
یافته در آزمایشهای کنترلشده با 130 ربات با نام مشخص طی 40 روز، رباتها کمتر به قواعد سختگیرانه پایبند بودند؛ خزندههای جستوجوی هوش مصنوعی اغلب اصلاً robots.txt را درخواست نمیکردند.
در این ابزار مبنای محدودیت «خواندن قواعد، بدون اندازهگیری رفتار» و نکته مربوط به مسدود بودن دریافتهای درخواستی کاربران است.
doi.org/10.1145/3730567.3764471 · مقاله کنفرانس
Liu, E.; Luo, E.; Shan, S. و همکاران (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 78–99
یافته اندازهگیریها و نظرسنجی از 203 هنرمند نشان میدهند که نیاز زیادی به robots.txt وجود دارد، اما کمبود دانش و دسترسی به سایت خود مانع استفاده از آن میشود. مسدودسازی در پراکسی معکوس محافظت مؤثرتری داشت، ولی چندان رایج نیست.
در این ابزار به همین دلیل، برای مسدودسازی قطعی توصیه میشود از شرکت هاستینگ یا پراکسی کمک بگیرید؛ ابزار ساخت فایل نیز نیازی به دانستن اصطلاحات تخصصی ندارد.
doi.org/10.1145/3730567.3732913 · مقاله کنفرانس
Seiden, S.; Ren, T.; Zhang, C. و همکاران (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026)، صفحات 6998–7012
یافته با سایتهایی که مخصوص این آزمایش آماده شده بودند و 22 سیستم هوش مصنوعی، مشخص شد کدام دریافتکننده داده کدام مدل را تأمین میکند؛ از جمله چند دریافتکننده که گرداننده آنها معرفیشان نکرده است.
در این ابزار مبنای این محدودیت است که جدول فقط خزندههایی را میشناسد که گردانندهشان آنها را با نام خودشان مستند کرده است.
doi.org/10.1145/3830454.3846799 · مقاله کنفرانس
Longpre, S.; Mahari, R.; Lee, A. و همکاران (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، صفحات 108042–108087
یافته بررسی 14,000 دامنه که منبع دادههای آموزش هوش مصنوعی بودند، در طول یک سال افزایش شدید مسدودسازی، تفاوتهای زیاد بین ارائهدهندگان هوش مصنوعی و تناقضهای مکرر بین شرایط استفاده و robots.txt را نشان داد.
در این ابزار به همین دلیل، این بررسی هر خزنده را جداگانه نمایش میدهد و فقط به اعلام «هوش مصنوعی مجاز است» یا «هوش مصنوعی مسدود است» بسنده نمیکند.
doi.org/10.52202/079017-3431 · مقاله کنفرانس
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024)، صفحات 2199–2208
یافته Common Crawl بزرگترین مجموعه آزاد دادههای وب و یکی از مهمترین منابع پیشآموزش مدلهای زبانی بزرگ است و اغلب سهم بزرگی از محتوای آموزشی را تشکیل میدهد.
در این ابزار به همین دلیل CCBot در دسته آموزش قرار دارد و اگر برخی خزندههای آموزشی مسدود باشند ولی CCBot مسدود نباشد، ابزار هشدار میدهد.
doi.org/10.1145/3630106.3659033 · مقاله کنفرانس
Dodge, J.; Sap, M.; Marasović, A. و همکاران (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021)، صفحات 1286–1305
یافته مجموعه متون آموزشی C4 از یک نسخه برداشتشده از Common Crawl ساخته شده و متنهایی از منابع غیرمنتظره، مثل اسناد ثبت اختراع و سایتهای نظامی، در آن وجود دارد.
در این ابزار پشتوانه این توضیح در متن است که مجموعههای آموزشی از نسخههای ثابت ساخته میشوند: ممنوعیتی که بعداً اعمال شود، بر محتوایی که قبلاً در آنها قرار گرفته اثری ندارد.
doi.org/10.18653/v1/2021.emnlp-main.98 · مقاله کنفرانس
Aggarwal, P.; Murahari, V.; Rajpurohit, T. و همکاران (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)، صفحات 5–16
یافته میتوان محتوا را طوری آماده کرد که ارجاع به آن در موتورهای جستوجوی هوش مصنوعی تا 40 درصد بیشتر دیده شود؛ روش مؤثر به حوزه موضوعی بستگی دارد.
در این ابزار مبنای این تفکیک است: دسترسی پیششرط است، اما محتوا تعیین میکند که به آن ارجاع داده شود یا نه. برای این موضوع، صفحه به AI-SEO ارجاع میدهد.
doi.org/10.1145/3637528.3671900 · مقاله کنفرانس
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023، صفحات 7001–7025
یافته در چهار موتور جستوجوی هوش مصنوعی، بهطور میانگین فقط کمی بیش از نیمی از جملهها کاملاً با منابع پشتیبانی میشدند و حدود یکچهارم ارجاعها، جمله مربوط را تأیید نمیکردند.
در این ابزار مبنای این محدودیت است که دسترسی آزاد، ارجاع درست را تضمین نمیکند: این ابزار امکان خواندن را بررسی میکند، نه پاسخ را.
doi.org/10.18653/v1/2023.findings-emnlp.467 · مقاله کنفرانس
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026)، صفحات 529–546
یافته از میان 55,393 جستوجو، در 13.7 درصد موارد خلاصه هوش مصنوعی نمایش داده شد؛ برای پرسشها این رقم 64.7 درصد بود. نزدیک به 30 درصد دامنههایی که به آنها ارجاع داده شده بود، در نتایج صفحه اول نبودند.
در این ابزار دلیل حضور Googlebot در بررسی را توضیح میدهد: خلاصههای هوش مصنوعی منابع را از نمایه جستوجو انتخاب میکنند، اما نه فقط از نتایج اول.
doi.org/10.1145/3777912.3839818 · مقاله کنفرانس
Grossman, R.; Liu, S.; Chen, M. K. و همکاران (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)، صفحات 448–459
یافته در 11,500 جستوجو، منابع جستوجوی Google، خلاصه هوش مصنوعی و Gemini تفاوت زیادی داشتند. سایتهایی که خزنده هوش مصنوعی Google را مسدود میکنند، کمتر بهعنوان منبع در خلاصههای هوش مصنوعی استفاده میشدند.
در این ابزار نکتهای که هنگام مسدود بودن Google-Extended نمایش داده میشود، این یافته را در کنار گفته Google قرار میدهد که این تنظیم بر جستوجو اثری ندارد.
doi.org/10.1145/3805712.3809667 · مقاله کنفرانس
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56، صفحات 29–41
یافته اندازهگیری روی حدود 4 میلیون دامنه نشان میدهد: robots.txt همچنان مهمترین ابزار است و فایلهای ویژه هوش مصنوعی مثل ai.txt و llms.txt بیشتر در شرکتهای فناوری رواج پیدا میکنند. بعضی لینکهای فایلهای llms.txt به صفحههایی میرسند که robots.txt آنها را مسدود کرده است.
در این ابزار به همین دلیل بررسی میشود که آیا لینکهای llms.txt به صفحههای مسدودشده میرسند یا نه.
doi.org/10.1145/3831956.3831960 · مجله علمی
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58، مقاله 106176
یافته با هوش مصنوعی مولد، نادیده گرفتن robots.txt پیامدهای جدیتری دارد. این پژوهش استدلال میکند که در کشورهای دارای نظام حقوقی کامنلا، این فایل ممکن است در شرایطی بهعنوان قرارداد یکجانبه یا هشداری با پیامدهای مسئولیت حقوقی عمل کند.
در این ابزار پشتوانه این نکته است که robots.txt صرفاً موضوعی فنی نیست؛ با این محدودیت که وضعیت حقوقی در آلمان باید جداگانه بررسی شود.
doi.org/10.1016/j.clsr.2025.106176 · مجله علمی
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، صفحات 197–214
یافته حدود 1.68 درصد سایتها در یک نسخه برداشتشده از Common Crawl، صریحاً دسترسی خزنده را رد کردند؛ این کار اغلب توسط شرکتهای بزرگ هاستینگ و ارائهدهندگان سایتساز انجام شده بود، از مسدودسازی تا نمایش صفحه بررسی امنیتی.
در این ابزار به همین دلیل، اگر صفحه اصلی با صفحه بررسی امنیتی پاسخ دهد، این نکته نمایش داده میشود: محافظت در برابر رباتها مستقل از robots.txt دسترسی را مسدود میکند.
doi.org/10.1007/978-3-031-85960-1_9 · مقاله کنفرانس
استانداردها، نهادهای دولتی و اطلاعات سازندگان
- RFC 9309: پروتکل منع دسترسی رباتها · IETF، سپتامبر 2022
- Google مشخصات robots.txt را چگونه تفسیر میکند (کدهای وضعیت، 500 KiB، حافظه موقت) · Google Search Central
- مروری بر خزندههای OpenAI · OpenAI
- آیا Anthropic دادههای وب را جمعآوری میکند و صاحبان سایت چطور میتوانند خزنده را مسدود کنند؟ · Anthropic
- خزندههای عمومی Google (Google-Extended) · Google Search Central
- دریافتکنندههای Google که به درخواست کاربر فعال میشوند (Google-Agent) · Google Search Central
- قابلیتهای هوش مصنوعی و سایت شما · Google Search Central
- خزندههای Perplexity · Perplexity
- درباره Applebot · Apple، بهروزرسانی 4 سپتامبر 2026
- خزندههای وب Meta · Meta
- Amazonbot, Amzn-SearchBot, Amzn-User · Amazon، بهروزرسانی 26 اکتبر 2026
- محتوای شما، انتخاب شما: ترجیحات روشنتر برای آموزش و پشتیبانی پاسخها با منابع · Microsoft Bing، 30 اکتبر 2026
- خزندههای Mistral AI · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- خزندههای وب Cohere (در حال حاضر خزندهای ندارد) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · پیشنویس IETF، 30 اکتبر 2026
- راه تازهای برای کنترل آموزش هوش مصنوعی (سیگنال آموزش) · Google Search Central Blog، 30 اکتبر 2026
- آسانتر کردن اعلام ترجیحات سایتها درباره آموزش هوش مصنوعی · OpenAI، 30 اکتبر 2026
- فایل /llms.txt · llmstxt.org، پیشنهاد 3 سپتامبر 2024
- § 44b UrhG متنکاوی و دادهکاوی · gesetze-im-internet.de
12 / ابزارهای دیگر
هنوز سؤالی دارید؟
- AT-W2 · کاربران خانگی و کسبوکارها
بررسی Windows 10
آیا این کامپیوتر هنوز بهروزرسانی امنیتی میگیرد و تا اکتبر 2027 چه باید کرد؟ - AT-W3 · کاربران خانگی و کسبوکارها
برنامهریز وایفای
خانه، دفتر یا سوله شما چند اکسسپوینت یا نقطه Mesh لازم دارد؟ - AT-W4 · کسبوکارها
چکلیست اضطراری IT
کسبوکار شما بعد از یک خرابی چقدر زود دوباره سر پا میشود؟ - AT-W5 · کسبوکارها
بررسی ایمیل
ایمیلهایتان در اسپم میافتد؟ SPF، DKIM و DMARC دامنه شما به زبان ساده. - AT-W6 · کسبوکارها
محاسبهگر UPS (USV)
کدام UPS سرور، مودم و صندوق فروش را هنگام قطع برق به اندازه کافی روشن نگه میدارد؟ - AT-W8 · کسبوکارها
نمایشگر XRechnung
یک XRechnung بهصورت فایل XML گرفتهاید؟ اینجا خوانا میشود، بیآنکه فایل از کامپیوترتان بیرون برود.
نتیجه کپیشده را برای ما بفرستید. ما robots.txt، llms.txt و دادههای ساختاریافته را طوری تنظیم میکنیم که جستوجوهای هوش مصنوعی بتوانند صفحههای شما را بخوانند و آموزش فقط در بخشهایی انجام شود که شما میخواهید؛ در رودویش (Rodewisch) و سراسر فوگتلند (Vogtland).
+49 3744 4399760[email protected]دوشنبه تا جمعه 8 تا 17 · Straße der Jugend 5, 08228 Rodewisch