ابزار AT-W29REV. 2026-A
بررسی خزندۀ هوش مصنوعی: آیا ChatGPT، Claude و Perplexity اجازۀ خواندن ویبسایت شما را دارند؟
اینکه یک دستیار هوش مصنوعی اجازۀ خواندن ویبسایت شما را دارد یا نه، در robots.txt مشخص میشود: برای هر خزنده یک گروه جداگانه؛ در غیر آن قاعدۀ عمومی «User-agent: *» تطبیق میشود. هدف تعیینکننده است. GPTBot و ClaudeBot برای آموزش، OAI-SearchBot و Claude-SearchBot برای جستجوی هوش مصنوعی معلومات جمعآوری میکنند و ChatGPT-User زمانی یک صفحه را دریافت میکند که کسی در چت درخواست کند. این ابزار قواعد شما را برای 27 خزنده میخواند، llms.txt را بررسی میکند و بخش مناسب را برای شما مینویسد.
- رایگان
- بدون ثبت نام
- 5 دقیقه در حافظۀ موقت
01 / دریافت
دامین را وارد کنید و دسترسی هر خزنده را ببینید
دریافت · robots.txt، llms.txt و صفحۀ اصلی
این ابزار قواعد را همانگونه که امروز در سرور قرار دارند، میخواند و مطابق RFC 9309 ارزیابی میکند. اینکه خزنده آنها را رعایت کند یا نه، به تصمیم ارائهکنندۀ آن بستگی دارد.
بدون دریافت: متن robots.txt را وارد کنید
مثلاً برای فایلی که هنوز آنلاین نیست. متن در براوزر میماند؛ مسیر بالا تطبیق میشود.
02 / خزندهها
کدام خزندههای هوش مصنوعی وجود دارند و برای چه میخوانند
ارائهکنندگان بزرگ یک خزنده نمیفرستند، بلکه بسته به هدف چندین خزنده دارند. این مهمترین نکته هنگام تنظیم است: کسی که «هوش مصنوعی» را مسدود میکند، معمولاً از جستجوی هوش مصنوعی هم حذف میشود و دیگر آنجا بهعنوان منبع نام برده نمیشود. از سال 2023 ویبسایتها ارائهکنندگان هوش مصنوعی را بیشتر و به شیوههای بسیار متفاوت مسدود میکنند؛ پژوهشگران در این میان اغلب میان شرایط استفاده و robots.txt تناقض یافتهاند Longpre و همکاران 2024. به همین دلیل، این ابزار هر خزنده را جداگانه نشان میدهد.
| نوع | موارد | چه کار میکنند |
|---|---|---|
| جستجوی هوش مصنوعی | 11 | فهرستی میسازد که دستیار هوش مصنوعی یا ماشین جستجو جوابهای همراه با منبع را از آن میگیرد. در صورت مسدودسازی، صفحه کمتر یا اصلاً بهعنوان منبع در آن ظاهر نمیشود. |
| آموزش | 6 | محتوایی جمعآوری میکند که مدلهای زبانی از آن یاد میگیرند. ممنوعیت بر دورهای آموزشی آینده اثر دارد، نه بر مدلهایی که قبلاً آموزش دیدهاند. |
| تنظیم اجازۀ آموزش | 2 | خزندۀ جداگانه نیست. قاعده به ارائهکننده میگوید آیا محتوایی را که به هر حال دریافت کرده، برای آموزش استفاده کرده میتواند یا نه. |
| دریافت به درخواست کاربر | 7 | یک صفحه را دریافت میکند، چون کسی همان لحظه آن را درخواست میکند. چندین ارائهکننده مینویسند که robots.txt برای این کار تطبیق نمیشود یا همیشه تطبیق نمیشود. |
دو مورد به توجه بیشتر نیاز دارند. Common Crawl خودش مدلی را آموزش نمیدهد، اما بزرگترین آرشیف آزاد ویب را میسازد و این آرشیف از مهمترین منابع پیشآموزش مدلهای بزرگ زبانی است Baack 2024. برای مثال، مجموعۀ آموزشی مشهور C4 از تنها یک نسخۀ ثبتشده از این نوع ساخته شد Dodge و همکاران 2021. پس کسی که آموزش را نمیپذیرد، CCBot را هم مسدود میکند؛ اما هیچ قاعدهای محتوایی را که قبلاً در یک نسخه ثبت شده، پس نمیگیرد. مورد دوم Googlebot است: چون خلاصههای هوش مصنوعی و حالت هوش مصنوعی جستجوی Google بر فهرست آن تکیه دارند، در این لست آمده است. کسی که میخواهد در Google پیدا شود، آن را مسدود نمیکند.
همۀ 27 خزندۀ شامل در بررسی
| نام در robots.txt | ارائهکننده | هدف | robots.txt اثر دارد | ارائهکننده چه مینویسد |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | جستجوی هوش مصنوعی | بلی، به گفتۀ ارائهکننده | معلومات جستجو در ChatGPT را فراهم میکند. کسی که آن را مسدود کند، در جوابها بهعنوان منبع ظاهر نمیشود. |
| Claude-SearchBot | Anthropic | جستجوی هوش مصنوعی | بلی، به گفتۀ ارائهکننده | به جستجو در Claude کمک میکند. اگر مسدود شود، صفحه کمتر در نتایج ظاهر میشود. |
| Googlebot | جستجوی هوش مصنوعی | بلی، به گفتۀ ارائهکننده | خزندۀ جستجوی Google. خلاصههای هوش مصنوعی و حالت هوش مصنوعی نیز از این فهرست استفاده میکنند؛ کنترول آنها از طریق nosnippet، max-snippet و noindex صورت میگیرد. | |
| PerplexityBot | Perplexity | جستجوی هوش مصنوعی | بلی، به گفتۀ ارائهکننده | فهرستی میسازد که Perplexity منابع را از آن لینک میدهد. به گفتۀ ارائهکننده، برای آموزش مدلها نیست. |
| Applebot | Apple | جستجوی هوش مصنوعی | بلی، به گفتۀ ارائهکننده | خزندۀ جستجو در Siri، Spotlight و Safari. به گفتۀ Apple، دادهها ممکن است برای آموزش مدلهای Apple هم استفاده شوند؛ Applebot-Extended برای کنترول همین کار است. |
| meta-webindexer | Meta | جستجوی هوش مصنوعی | بلی، به گفتۀ ارائهکننده | برای جستجو در Meta AI فهرستسازی میکند تا Meta بتواند به محتوا استناد کند و لینک بدهد. |
| Amzn-SearchBot | Amazon | جستجوی هوش مصنوعی | بلی، به گفتۀ ارائهکننده | برای قابلیتهای جستجو در محصولات Amazon مانند Alexa است؛ به گفتۀ Amazon، برای آموزش نیست. |
| bingbot | Microsoft | جستجوی هوش مصنوعی | بلی، به گفتۀ ارائهکننده | خزندۀ Bing. Microsoft شناسهای جداگانه برای هوش مصنوعی نام نمیبرد؛ از فبروری 2027، قواعد آموزش و جوابهای هوش مصنوعی خطاب به Bingbot هستند. |
| MistralAI-Index | Mistral | جستجوی هوش مصنوعی | بلی، به گفتۀ ارائهکننده | فقط برای فهرست جستجو میخزد؛ به گفتۀ Mistral، برای آموزش نیست. |
| DuckAssistBot | DuckDuckGo | جستجوی هوش مصنوعی | بلی، به گفتۀ ارائهکننده | صفحهها را همان لحظه برای جوابهای هوش مصنوعی DuckDuckGo، همراه با ذکر منبع، دریافت میکند. به گفتۀ ارائهکننده، برای آموزش نیست. |
| YouBot | You.com | جستجوی هوش مصنوعی | بلی، به گفتۀ ارائهکننده | خزندۀ ماشین جستجوی You.com. robots.txt را همراه با Crawl-delay رعایت میکند. |
| GPTBot | OpenAI | آموزش | بلی، به گفتۀ ارائهکننده | محتوایی جمعآوری میکند که ممکن است برای آموزش مدلهای OpenAI استفاده شود. به گفتۀ OpenAI، مسدودسازی یعنی: برای آموزش استفاده نشود. |
| ClaudeBot | Anthropic | آموزش | بلی، به گفتۀ ارائهکننده | محتوایی جمعآوری میکند که ممکن است برای آموزش مدلهای Anthropic استفاده شود. Anthropic هم robots.txt و هم Crawl-delay را رعایت میکند. |
| meta-externalagent | Meta | آموزش | بلی، به گفتۀ ارائهکننده | برای آموزش مدلهای هوش مصنوعی و محصولات Meta محتوا جمعآوری میکند. |
| Amazonbot | Amazon | آموزش | بلی، به گفتۀ ارائهکننده | محصولات Amazon را بهبود میدهد؛ این کار ممکن است شامل آموزش مدلهای هوش مصنوعی Amazon باشد. Crawl-delay را رعایت نمیکند. |
| MistralAI-Training | Mistral | آموزش | بلی، به گفتۀ ارائهکننده | محتوا را برای دادههای آموزشی مدلهای Mistral جمعآوری میکند. |
| CCBot | Common Crawl | آموزش | بلی، به گفتۀ ارائهکننده | آرشیفی با دسترسی آزاد از ویب میسازد. Common Crawl خودش چیزی را آموزش نمیدهد، اما آرشیف آن یکی از مهمترین منابع دادههای آموزشی است. |
| Google-Extended | تنظیم اجازۀ آموزش | بلی، به گفتۀ ارائهکننده | خزندۀ جداگانه نیست، بلکه یک تنظیم است: آیا Google میتواند محتوای دریافتشده را برای آموزش مدلهای آیندۀ Gemini و مستند ساختن جوابهای Gemini استفاده کند؟ به گفتۀ Google، این تنظیم بر جستجوی Google اثر ندارد. | |
| Applebot-Extended | Apple | تنظیم اجازۀ آموزش | بلی، به گفتۀ ارائهکننده | خزندۀ جداگانه نیست. اگر مسدود شود، Apple محتوا را برای آموزش مدلهایش استفاده نمیکند؛ صفحه در جستجو باقی میماند. |
| ChatGPT-User | OpenAI | دریافت به درخواست کاربر | نه همیشه | وقتی کسی در ChatGPT یک صفحه را درخواست کند، آن را دریافت میکند. به گفتۀ OpenAI، ممکن است قواعد robots.txt برای این کار تطبیق نشوند. |
| Claude-User | Anthropic | دریافت به درخواست کاربر | بلی، به گفتۀ ارائهکننده | وقتی کاربران در Claude سوال میکنند، صفحهها را دریافت میکند. Anthropic مینویسد که باتهایش robots.txt را رعایت میکنند. |
| Google-Agent | دریافت به درخواست کاربر | نه همیشه | به نمایندگی از کاربر ویب را مرور میکند و کارهایی انجام میدهد. به گفتۀ Google، دریافتهای به درخواست کاربر معمولاً robots.txt را نادیده میگیرند. | |
| Perplexity-User | Perplexity | دریافت به درخواست کاربر | نه همیشه | وقتی کاربر سوال کند، صفحهها را دریافت میکند. به گفتۀ Perplexity، معمولاً robots.txt را نادیده میگیرد. |
| meta-externalfetcher | Meta | دریافت به درخواست کاربر | نه همیشه | لینکهای مشخص را به درخواست کاربر، از جمله برای عاملهای هوش مصنوعی، دریافت میکند. به گفتۀ Meta، ممکن است robots.txt را دور بزند. |
| Amzn-User | Amazon | دریافت به درخواست کاربر | نه همیشه | برای سوال کاربر، مثلاً از Alexa، معلومات تازه دریافت میکند. به گفتۀ Amazon، همۀ قواعد robots.txt را رعایت نمیکند. |
| MistralAI-User | Mistral | دریافت به درخواست کاربر | بلی، به گفتۀ ارائهکننده | وقتی کاربر درخواست کند، یک صفحه را دریافت میکند و بهعنوان منبع به آن لینک میدهد. به گفتۀ Mistral، گروه robots.txt تعیین میکند کدام صفحهها برای این کار در نظر گرفته شوند. |
| Bytespider | ByteDance | نامعلوم | ثابت نشده | اسناد ارائهکننده یافت نشد. هدف و شیوۀ برخورد با robots.txt مستند نیست. |
شامل نشدهاند: نامهایی از فهرستهای بات که خود ارائهکننده ذکر نکرده است، مانند anthropic-ai یا cohere-ai. Cohere مطابق اسناد خودش فعلاً خزندهای ندارد؛ Microsoft شناسهای جداگانه برای هوش مصنوعی نام نمیبرد و قواعد هوش مصنوعیاش خطاب به bingbot هستند. تاریخ معلومات: 14 نومبر 2026.
03 / سازنده
مسدود کردن آموزش و اجازۀ جستجوی هوش مصنوعی: بخش مناسب
بیشتر شرکتها یک خواست دارند: در جوابهای ChatGPT، Claude یا Perplexity بهعنوان منبع ظاهر شوند، اما بدون اجازه مواد آموزشی فراهم نکنند. تنظیم پیشفرض سازنده همین است. هر گروه را جداگانه و فقط با Allow و Disallow بدون نویسههای جایگزین مینویسد، چون حتی خزندههای تجارتی هم بعضی قواعد را بارها نادرست میفهمند Giles و همکاران 2010. این بخش را در robots.txt موجود خود اضافه کنید؛ گروه «User-agent: *» به همان شکل باقی میماند.
سازنده · بخش robots.txt
سازنده در براوزر اجرا میشود و چیزی نمیفرستد.
سازنده · چارچوب llms.txt
در براوزر اجرا میشود. فایل با نام llms.txt در پوشۀ اصلی ویبسایت قرار میگیرد.
رایجترین اشتباه: گروهها چیزی به ارث نمیبرند
خزنده دقیقاً از گروهی پیروی میکند که نام خودش را دارد. اگر آن گروه موجود باشد، قاعدۀ عمومی دیگر بر آن تطبیق نمیشود، حتی بهصورت جزئی. در مثال سمت راست، «User-agent: *» بخش /intern/ را مسدود میکند، اما GPTBot گروه جداگانهای با «Allow: /» دارد.
نتیجه برای /intern/preise: ClaudeBot مسدود است (سطر 2: Disallow: /intern/ (گروه *))، اما GPTBot اجازۀ خواندن دارد (سطر 5: Allow: / (گروه GPTBot)). پس هر چیزی که باید برای همه مسدود باشد، باید در هر گروه دارای نام هم بیاید. در سازنده، این بخشها را یک بار وارد میکنید و سازنده آنها را در همهجا تکرار میکند.
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
نشانۀ مشترک آموزش
از 30 اکتوبر 2026 پیشنویسی در IETF وجود دارد که هدفش کوتاه کردن روند مسدودسازی جداگانۀ ارائهکنندگان است: یک گروه «User-agent: __usage_ai-training» با «Disallow: /» به همۀ ارائهکنندگان شرکتکننده یکجا میگوید که شما آموزش را نمیخواهید. مسیرها مثل همیشه کار میکنند؛ «Allow: /presse/» بخش رسانهها را مستثنا میکند. این گروه فرمان خزیدن نیست و قاعدۀ عمومی «User-agent: *» صریحاً برای آن حساب نمیشود. چون پیشنویس تازه است و هنوز همۀ ارائهکنندگان آن را نمیخوانند، سازنده هر دو را مینویسد: گروههای جداگانه و این نشانه را.
| ارائهدهنده | از چه وقت |
|---|---|
| Anthropic | از 30 اکتوبر 2026؛ گروه دارای نام ClaudeBot اولویت دارد |
| Microsoft (Bing) | از 1 فبروری 2027 |
| برای 2027 پلان شده؛ اگر گروه جداگانۀ Google-Extended موجود نباشد، Google جواب منفی را مانند مسدود بودن Google-Extended ارزیابی میکند | |
| OpenAI | «در ماههای آینده»؛ قواعد GPTBot باقی میمانند |
منبع: draft-kelley-aipref-training-preference-signal-00، هنوز معیار رسمی نیست، اعتبارش در 3 می 2027 پایان مییابد. تاریخ معلومات: 14 نومبر 2026.
04 / قواعد
خزنده robots.txt شما را اینگونه میخواند
از سپتمبر 2022 این روش در RFC 9309 ثبت شده و این ابزار هم بر همان اساس حساب میکند. فایل همیشه در مسیر /robots.txt در پوشۀ اصلی قرار دارد و فقط برای همان میزبان معتبر است: اگر ihre-firma.de به www.ihre-firma.de هدایت شود، فایل روی www ملاک است. خزنده گروهی با نام خودش را جستجو میکند و بزرگی یا کوچکی حروف مهم نیست؛ اگر چنین گروهی نباشد، «User-agent: *» را میگیرد و اگر آن هم نباشد، به همه چیز دسترسی دارد. درون گروه، طولانیترین قاعدۀ منطبق اولویت دارد؛ در صورت برابری، Allow اولویت میگیرد. ستاره نمایندۀ هر نوع نویسه است و علامت دالر در آخر، پایان آدرس را مشخص میکند.
یک بررسی در سال 2007 روی 7.593 ویبسایت نشان داد که استفاده از این فایل پیوسته بیشتر میشود و ماهیت آن را هم روشن کرد: قاعدهای که خزندههای مسئول رعایت میکنند، نه وسیلۀ اعمال اجباری محدودیت Sun و همکاران 2007. این موضوع تغییر نکرده است.
| جواب | RFC 9309 | |
|---|---|---|
| 200، فایل متنی | قواعد تطبیق میشوند؛ حداقل 500 KiB خوانده میشود | همینطور؛ هر چیزی بعد از 500 KiB نادیده گرفته میشود |
| 200، اما یک صفحۀ ویب | هیچ سطر معتبری نیست، پس قاعدهای وجود ندارد | همینطور |
| 404 و دیگر کودهای 4xx | robots.txt وجود ندارد، همه چیز مجاز است | همه چیز مجاز است، بهجز در حالت 429 |
| 429، درخواستهای بیش از حد | مانند 4xx | مانند خطای سرور |
| 5xx یا غیرقابل دسترس | همه چیز مسدود است | 12 ساعت بدون خزیدن؛ پس از آن، استفاده از آخرین نسخۀ سالم تا 30 روز |
| تغییر مسیر | حداقل پنج تغییر مسیر دنبال شود | حداقل پنج؛ پس از آن مانند 404 |
Google معمولاً فایل را تا 24 ساعت و Amazon تا 30 روز ذخیره میکند. به همین دلیل تغییرات فوری اثر نمیکنند. دریافت ما حداکثر سه تغییر مسیر را دنبال میکند. تاریخ معلومات: 14 نومبر 2026.
تنظیمات در خود صفحهها
در کنار robots.txt، هر صفحه تنظیمات خودش را هم دارد؛ به شکل Meta-Tag در سرصفحه یا X-Robots-Tag در جواب سرور. این ابزار آنها را در صفحۀ اصلی میخواند. برای هوش مصنوعی، بهویژه این موارد مهماند: noindex صفحه را از فهرست جستجو و در نتیجه از خلاصههای هوش مصنوعی حذف میکند؛ nosnippet نمایش خلاصۀ متن را در Google، از جمله در خلاصههای هوش مصنوعی و حالت هوش مصنوعی، منع میکند. Amazon، noarchive را به معنای «برای آموزش استفاده نشود» میخواند. Microsoft از 1 فبروری 2027 تنظیمات جداگانۀ آموزش و مستند ساختن جوابها را معرفی میکند (ai-training، ai-grounding) و از مارچ 2027 دیگر noarchive و nocache را بهعنوان قاعدۀ هوش مصنوعی نمیخواند. تنظیماتی مانند «noai» رایجاند، اما هیچ ارائهکنندهای در لست ما آنها را مستند نکرده است.
05 / حدود
robots.txt چه کارهایی را انجام نمیدهد
- این یک درخواست است. در آزمایشهایی با 130 بات دارای نام طی 40 روز، باتها قواعد سختگیرانه را کمتر رعایت کردند و خزندههای جستجوی هوش مصنوعی اغلب اصلاً فایل را درخواست نکردند Kim و همکاران 2025.
- فقط با نامها اثر دارد. با ویبسایتهایی که مخصوصاً برای آزمایش آماده شده بودند، ثابت شد کدام دریافتکننده به کدام سیستم هوش مصنوعی معلومات میرساند؛ از جمله چندین مورد که ارائهکنندهشان آنها را افشا نمیکند Seiden و همکاران 2026. کسی که با نام دیگری بیاید، مشمول قاعدۀ مربوط نمیشود.
- دریافتهای به درخواست کاربر گاهی آن را دور میزنند. OpenAI، Perplexity، Meta، Amazon و Google خودشان مینویسند که دریافتهایشان به درخواست کاربر همیشه robots.txt را رعایت نمیکنند. Anthropic و Mistral این فایل را برای کنترول این نوع دریافت هم معرفی میکنند.
- مسدودسازی قطعی در سرور انجام میشود. هنرمندان اغلب برای robots.txt معلومات لازم یا دسترسی به ویبسایت خود را نداشتند؛ مسدودسازی در پراکسی معکوس حفاظت مؤثرتری فراهم کرد Liu و همکاران 2025. از سوی دیگر، بعضی میزبانها و سیستمهای ساخت ویبسایت بدون اطلاع مالک، خزندهها را مسدود میکنند: در یک نسخۀ ثبتشدۀ Common Crawl، حدود 1,68 درصد ویبسایتها صریحاً خزنده را رد کردند Ansar و همکاران 2025. اگر صفحۀ اصلی شما در جواب دریافت ما یک صفحۀ بررسی امنیتی نشان دهد، ابزار آن را گزارش میکند.
- دریافت ما خزندۀ هوش مصنوعی نیست. سرور با شناسۀ خودش درخواست میفرستد. اگر یک فایروال خزندهها را بر اساس نام مسدود کند، مثلاً از طریق تنظیمی در Cloudflare، این ابزار آن را نمیبیند.
از نظر حقوقی چطور؟
مطابق § 44b Abs. 3 UrhG، متنکاوی و دادهکاوی روی آثار دارای دسترسی آزاد مجاز است، تا زمانی که صاحب حق این استفاده را برای خود محفوظ نکرده باشد؛ برای محتوای آنلاین، فقط اعلام محفوظ بودن حق به شکل قابل خواندن توسط ماشین اعتبار دارد. robots.txt برای ماشین قابل خواندن است، اما هنوز بهطور قطعی روشن نیست که آیا بهعنوان چنین اعلامی کافی است یا نه. یک پژوهش حقوقی برای کشورهای دارای نظام حقوق عرفی استدلال میکند که نادیده گرفتن فایل در بعضی شرایط میتواند مسئولیت حقوقی ایجاد کند Chang و He 2025؛ برای آلمان باید این موضوع جداگانه بررسی شود. بنابراین، کسی که میخواهد حق خود را محفوظ اعلام کند، این موضوع را در مشخصات شرکت (Impressum) یا شرایط استفاده هم مینویسد. این مشورۀ حقوقی نیست.
06 / LLMS.TXT
llms.txt: این فایل چه میتواند و چه نمیتواند
Jeremy Howard فایل llms.txt را در 3 سپتمبر 2024 پیشنهاد کرد؛ توضیح آن در llmstxt.org آمده است. این یک فایل Markdown در مسیر /llms.txt است: عنوانی با نام، که تنها بخش حتمی است؛ سپس شرح کوتاه به شکل نقلقول، در صورت نیاز چند جمله و بخشهایی با لست لینکهای مهمترین صفحهها. بخشی با عنوان «Optional» مواردی را در بر میگیرد که دستیار میتواند از آنها بگذرد.
یک سنجش روی حدود 4 میلیون دامین، این فایل را بیشتر در شرکتهای تخنیکی یافت و بعضی لینکهای آن به صفحههایی میرفتند که robots.txt همان ویبسایت مسدود کرده بود Hoffmann و همکاران 2026. این ابزار دقیقاً همین را بررسی میکند. رهنمایی به صفحههای مسدودشده به جایی نمیرسد.
صادقانه بگوییم: Google در اسناد خلاصههای هوش مصنوعی خود مینویسد که برای آنها نیازی به ساخت فایلهای جدید قابل خواندن توسط ماشین نیست و هیچیک از ارائهکنندگان شامل در این بررسی، در اسناد خزندۀ خود ننوشته است که llms.txt ویبسایتهای دیگر را میخواند. پس این فایل وسیلۀ افزایش دیدهشدن نیست. با این حال مفید است: معرفی کوتاه و منظمی که دستیار هنگام دریافت به درخواست کاربر خوانده میتواند و در ده دقیقه آماده میشود.
فایل خود ما در aureum-tech.com/llms.txt قرار دارد. سازندۀ بالا چارچوب فایل شما را میسازد.
07 / دیدهشدن
اجازۀ خواندن به معنای نام برده شدن نیست
این ابزار به یک سوال مقدماتی جواب میدهد. اینکه ChatGPT هنگام جستجوی برقکار در پلاون (Plauen) نام شرکت شما را ببرد، به محتوای صفحههای شما و آنچه دیگران دربارۀ شما مینویسند بستگی دارد. در آزمایشها، با تنظیم محتوا دیدهشدن منابع در جوابهای هوش مصنوعی تا 40 درصد افزایش یافت؛ روشهای مؤثر بسته به حوزۀ تخصصی متفاوت بودند Aggarwal و همکاران 2024. در یک سنجش Google با 55.393 جستجو، در 13,7 درصد موارد خلاصۀ هوش مصنوعی ظاهر شد؛ برای سوالها این رقم 64,7 درصد بود و نزدیک به 30 درصد دامینهای مورد استناد در آن، در نتایج صفحۀ اول نبودند Xu و همکاران 2026.
نام برده شدن هم به معنای استناد درست نیست. در چهار ماشین جستجوی هوش مصنوعی، بهطور اوسط فقط کمی بیش از نصف جملهها توسط منابع ذکرشده پشتیبانی میشدند Liu و همکاران 2023. همچنان، کسانی که خزندۀ هوش مصنوعی Google را مسدود میکنند، کمتر بهعنوان منبع در خلاصههای هوش مصنوعی استفاده میشوند؛ با آنکه Google مینویسد این تنظیم بر جستجو اثر ندارد Grossman و همکاران 2026.
اینکه شرکت شما واقعاً چقدر در ChatGPT، Perplexity و هوش مصنوعی Google دیده میشود، در بررسی سریع SpotLens مشخص میشود. شیوۀ تنظیم محتوا و دادههای ساختاریافته توسط ما برای استناد جستجوهای هوش مصنوعی، در بخش AI-SEO آمده است. اگر میخواهید اول خودتان بررسی کنید، در رهنما مییابید که چطور دیدهشدن در ChatGPT را بررسی کنید و دیدهشدن شرکتها در هوش مصنوعی چه معنا دارد. قواعد جداگانه را در آزمایش robots.txt امتحان کنید؛ ابزارهای دیگر برای بهتر پیدا شدن در بخش SEO و دیدهشدن هستند.
08 / تحقیق
تحقیقات علمی در این باره چه میگوید
ارزیابی این ابزار بر 15 پژوهش داوریشده تکیه دارد. در اینجا مهمترین یافتهها آمدهاند؛ لست کامل همراه با یادداشت بررسی در پایینتر قرار دارد.
- مسدودسازی بیشتر میشود، اما بهطور نابرابر. در مدت یک سال، بخشهای بزرگی از منابع دادههای آموزشی هوش مصنوعی مسدود شدند؛ میزان آن برای هر ارائهکننده متفاوت بود Longpre و همکاران 2024. به همین دلیل، این ابزار خزندهها را جداگانه نشان میدهد.
- قواعد بهصورت گزینشی رعایت میشوند. هرچه قاعده سختگیرانهتر بود، باتها کمتر آن را رعایت کردند Kim و همکاران 2025. به همین دلیل، این ابزار چیزی را که سنجیده نمیتواند، نمیسنجد و این محدودیت را بیان میکند.
- آموزش از طریق آرشیفها انجام میشود. Common Crawl یکی از مهمترین منابع پیشآموزش است Baack 2024 و مجموعههایی مانند C4 از نسخههای ثبتشدۀ جداگانه ساخته میشوند Dodge و همکاران 2021. به همین دلیل، اگر دسترسی CCBot باز بماند، ابزار هشدار میدهد.
- خلاصههای هوش مصنوعی منابع خود را انتخاب میکنند. بسیاری از دامینهای مورد استناد در صفحۀ اول نیستند Xu و همکاران 2026 و مسدود بودن خزندههای هوش مصنوعی با کمتر نام برده شدن همراه است Grossman و همکاران 2026.
- llms.txt تازه است و اغلب تناقض دارد. بعضی لینکهای فایل به صفحههای مسدودشده میروند Hoffmann و همکاران 2026؛ ابزار هر لینک داخلی را بررسی میکند.
09 / برای دستیارهای هوش مصنوعی
استفاده از این ابزار از طریق یک دستیار هوش مصنوعی
دستیارهایی مانند Claude یا ChatGPT که Model Context Protocol (MCP) را میفهمند، حساب این صفحه را مستقیم صدا زده میتوانند، به جای اینکه خودشان دوباره بسازند. سرور عمومی است، به ثبت نام ضرورت ندارد و چیزی ذخیره نمیکند. جواب همیشه لینک این صفحه، تاریخ معلومات و حدود نتیجه را در بر دارد.
- نقطۀ پایانی (Endpoint)
https://aureum-tech.com/mcp- ابزار
werkzeug_ki_crawler_check- انتقال
- Streamable HTTP، فقط خواندنی
| نام | حتمی | معنا |
|---|---|---|
domain | نخیر | دامین ویبسایت، مثلاً ihre-firma.de یا https://www.ihre-firma.de. مسیر نادیده گرفته میشود؛ robots.txt همیشه در پوشۀ اصلی قرار دارد. فقط ویبسایتهای عمومی، پورت 80 یا 443. |
robots_txt | نخیر | بهجای دامین: متن یک robots.txt که بدون دریافت ارزیابی میشود. همزمان با domain وارد نکنید. |
pfad | نخیر | مسیری که بررسی میشود، مثلاً /blog/artikel. اگر وارد نشود، صفحۀ اصلی «/» بررسی میشود. |
سوالهایی که دستیار باید با آنها این ابزار را صدا بزند
- «آیا ChatGPT اجازۀ خواندن ویبسایت من handwerk-muster.de را دارد؟»
- «آیا robots.txt ما اشتباهاً جستجوی هوش مصنوعی Perplexity و ChatGPT را مسدود میکند؟»
- «چطور آموزش هوش مصنوعی را ممنوع کنم، اما در جستجوی ChatGPT و Claude دیده شوم؟»
- «آیا www.beispiel-praxis.de فایل llms.txt دارد و آیا لینکهای آن به صفحههای مسدودشده میروند؟»
اینکه اتصال چطور کار میکند و MCP در شرکت خود شما چه کرده میتواند، در صفحۀ ادغام MCP نوشته شده است.
10 / سوالهای رایج
سوالهای رایج دربارۀ خزندههای هوش مصنوعی، robots.txt و llms.txt
چطور آموزش هوش مصنوعی را مسدود کنم، بدون اینکه از جستجوی ChatGPT حذف شوم؟
OpenAI این دو را جدا میکند: GPTBot برای آموزش و OAI-SearchBot برای جستجو در ChatGPT معلومات جمعآوری میکند و هر تنظیم جداگانه اثر دارد. پس در robots.txt برای GPTBot «Disallow: /» و برای OAI-SearchBot «Allow: /» قرار میگیرد. در Anthropic همین اصل برای ClaudeBot و Claude-SearchBot صدق میکند؛ در Google، Google-Extended را مسدود میکنید و Googlebot را دست نمیزنید. سازندۀ این صفحه بخش کامل را برای همۀ ارائهکنندگان شامل در بررسی مینویسد.
فرق میان GPTBot، OAI-SearchBot و ChatGPT-User چیست؟
GPTBot محتوایی جمعآوری میکند که ممکن است برای آموزش مدلهای آینده استفاده شود. OAI-SearchBot فهرستی را میسازد که ChatGPT هنگام جستجو منابع را از آن نام میبرد؛ به گفتۀ OpenAI، هر کس آن را مسدود کند، در آن جوابها ظاهر نمیشود. ChatGPT-User یک صفحه را دریافت میکند، چون کسی همان لحظه در چت دربارۀ آن میپرسد. به گفتۀ OpenAI، ممکن است قواعد robots.txt بر این دریافت تطبیق نشوند.
اگر Google-Extended را مسدود کنم، ویبسایت من از Google حذف میشود؟
نخیر. Google-Extended خزندۀ جداگانه نیست، بلکه تنظیمی است که تعیین میکند آیا Google اجازۀ استفاده از محتوای دریافتشده برای آموزش Gemini و مستند ساختن جوابهای Gemini را دارد یا نه. به گفتۀ Google، این تنظیم نه بر شامل شدن در جستجو اثر دارد و نه بر رتبهبندی. خلاصههای هوش مصنوعی در جستجوی Google به Googlebot و قواعد نمایش خلاصۀ متن مانند nosnippet وابستهاند. با این حال، یک سنجش در سال 2026 نشان داد که صفحاتی با خزندۀ مسدودشدۀ هوش مصنوعی Google، کمتر بهعنوان منبع در خلاصههای هوش مصنوعی ظاهر میشوند.
آیا به llms.txt نیاز دارم؟
داشتن آن حتمی نیست. llms.txt پیشنهادی از Jeremy Howard در سپتمبر 2024 است: یک فایل Markdown با عنوان، شرح کوتاه و لینکهای مهمترین صفحهها. Google صریحاً مینویسد که برای خلاصههای هوش مصنوعی به فایلهای جدید قابل خواندن توسط ماشین نیاز نیست و هیچیک از ارائهکنندگان شامل در این بررسی، در اسناد خزندۀ خود نگفته است که آن را میخواند. ضرری ندارد و زود ساخته میشود؛ سازنده چارچوب آن را فراهم میکند. مهمتر این است که لینکهای آن به صفحههای مسدودشده نروند.
آیا هر خزنده robots.txt را رعایت میکند؟
نخیر. robots.txt یک درخواست است، نه قفل. سنجشها نشان میدهند که باتها قواعد سختگیرانهتر را کمتر رعایت میکنند و خزندههای جستجوی هوش مصنوعی اغلب اصلاً این فایل را درخواست نمیکنند. به گفتۀ ارائهکنندگان، دریافتهایی به درخواست کاربر مانند ChatGPT-User، Perplexity-User یا meta-externalfetcher گاهی robots.txt را دور میزنند و هر کسی که بدون نام معلومات جمعآوری کند، در هیچ قاعدهای ذکر نمیشود. برای مسدود کردن واقعی، باید در سرور یا نزد میزبان ویبسایت محدودیت بگذارید.
آیا مسدودسازی بر مدلهایی که قبلاً آموزش دیدهاند هم اثر دارد؟
نخیر. OpenAI و Anthropic مسدودسازی را نشانهای برای آموزشهای آینده توصیف میکنند. دادههای آموزشی از نسخههای ثابت ویب، مثلاً آرشیف Common Crawl، ساخته میشوند؛ آنچه قبلاً آنجا ذخیره شده، باقی میماند. به همین دلیل، اگر آموزش را نمیپذیرید، بهتر است CCBot را هم در نظر بگیرید.
«User-agent: __usage_ai-training» چه معنا دارد؟
این نشانۀ مشترک آموزش مطابق پیشنویس IETF به تاریخ 30 اکتوبر 2026 است. یک گروه با این نام و «Disallow: /» به همۀ ارائهکنندگان شرکتکننده یکجا میگوید که شما آموزش را نمیخواهید. Anthropic به گفتۀ خودش همین حالا آن را در نظر میگیرد؛ Microsoft از 1 فبروری 2027، Google طبق پلان در 2027 و OpenAI در ماههای آینده آن را در نظر خواهند گرفت. این فرمان خزیدن نیست و گروه «User-agent: *» صریحاً برای آن حساب نمیشود.
حدود بررسی خزندۀ هوش مصنوعی کجاست؟
این ابزار قواعد robots.txt، فایل llms.txt و تنظیمات Robots صفحۀ اصلی شما را میخواند و برای هر خزنده میگوید چه اجازهای دارد. بررسی نمیکند که آیا خزنده آنها را رعایت میکند یا نه؛ همچنان نمیسنجد که آیا یک دستیار هوش مصنوعی شرکت شما را میشناسد و پیشنهاد میکند. این را بررسی سریع SpotLens نشان میدهد؛ اینکه محتوا چطور ساخته شود تا جستجوهای هوش مصنوعی به آن استناد کنند، در بخش AI-SEO آمده است. به درخواست شما این فایلها را تنظیم میکنیم.
11 / تحقیقات و منابع
این ابزار بر چه تکیه دارد
اندازههای رهنما و نکتههای بالا بر این 15 کار علمی استوار است. هر کدام از طریق DOI یا صفحۀ ناشر بررسی شده (آخرین بار 14 نومبر 2026): موجود است، پس گرفته نشده، و یافتۀ آن برای این سوال امروز هم معتبر است.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. مجموعهمقالات 16مین کنفرانس بینالمللی ویب جهانی (WWW 2007)، صفحات 1123–1124
یافته پنج بررسی روی 7.593 ویبسایت نشان میدهد که استفاده از robots.txt پیوسته بیشتر میشود. این فایل وسیلۀ اعمال اجباری محدودیت نیست، بلکه قاعدهای است که خزندههای مسئول رعایت میکنند.
در ابزار اصل اساسی این صفحه را پشتیبانی میکند: robots.txt درخواستی از خزندههاست، نه قفل.
doi.org/10.1145/1242572.1242726 · مقالۀ کنفرانس
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. مجموعهمقالات 19مین کنفرانس بینالمللی ویب جهانی (WWW 2010)، صفحات 1101–1102
یافته بیشتر خزندههای تجارتی مطابق قواعد رفتار کردند، اما بسیاری بعضی قواعد robots.txt را بارها نقض کردند یا نادرست فهمیدند.
در ابزار به همین دلیل، سازنده هر گروه را جداگانه و فقط با Allow و Disallow بدون نویسههای جایگزین مینویسد.
doi.org/10.1145/1772690.1772824 · مقالۀ کنفرانس
Kim, T.; Bock, K.; Luo, C. و همکاران (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. مجموعهمقالات کنفرانس سنجش انترنت ACM در سال 2025 (IMC 2025)، صفحات 541–557
یافته در آزمایشهای کنترولشده با 130 بات نامدار طی 40 روز، باتها قواعد سختگیرانهتر را کمتر رعایت کردند؛ خزندههای جستجوی هوش مصنوعی اغلب اصلاً robots.txt را درخواست نکردند.
در ابزار این یافته دلیل محدودیت «خواندن قواعد، نه سنجش رفتار» و نکتۀ مربوط به مسدود شدن دریافتهای درخواستی کاربران است.
doi.org/10.1145/3730567.3764471 · مقالۀ کنفرانس
Liu, E.; Luo, E.; Shan, S. و دیگران (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 78–99
یافته اندازهگیریها و یک نظرسنجی از 203 هنرمند نشان میدهد که نیاز به robots.txt زیاد است، اما کمبود معلومات و دسترسی به ویبسایت خودشان مانع ایجاد میکند. مسدودسازی در پراکسی معکوس محافظت مؤثرتری فراهم کرد، اما کاربرد آن کم است.
در ابزار به همین دلیل، برای مسدودسازی قطعی، همکاری با فراهمکنندۀ میزبانی یا پراکسی پیشنهاد میشود و سازندهای فراهم شده که استفاده از آن نیاز به دانستن اصطلاحات تخصصی ندارد.
doi.org/10.1145/3730567.3732913 · مقالۀ کنفرانس
Seiden, S.; Ren, T.; Zhang, C. و دیگران (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026)، صفحات 6998–7012
یافته با ویبسایتهای ویژه آمادهشده و 22 سیستم هوش مصنوعی، مشخص شد که کدام دریافتکننده به کدام مدل معلومات میرساند؛ از جمله چند دریافتکننده که گردانندۀ آنها هویتشان را اعلام نمیکند.
در ابزار این یافته پشتوانۀ این محدودیت است که جدول فقط خزندههایی را میشناسد که گردانندۀ آنها با نام خودشان مستند کرده است.
doi.org/10.1145/3830454.3846799 · مقالۀ کنفرانس
Longpre, S.; Mahari, R.; Lee, A. و دیگران (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، صفحات 108042–108087
یافته بررسی 14.000 دامنه که منبع دادههای آموزش هوش مصنوعی بودند، طی یک سال افزایش شدید مسدودسازی، تفاوتهای بزرگ میان عرضهکنندگان هوش مصنوعی و تناقضهای مکرر میان شرایط استفاده و robots.txt را نشان داد.
در ابزار به همین دلیل، ابزار هر خزنده را جداگانه نشان میدهد، بهجای اینکه فقط «هوش مصنوعی مجاز است» یا «هوش مصنوعی مسدود است» گزارش دهد.
doi.org/10.52202/079017-3431 · مقالۀ کنفرانس
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024)، صفحات 2199–2208
یافته Common Crawl بزرگترین مجموعۀ آزادانۀ در دسترس از دادههای ویب و یکی از مهمترین منابع پیشآموزش مدلهای بزرگ زبانی است و اغلب سهم بزرگی از مواد آموزشی را تشکیل میدهد.
در ابزار به همین دلیل، CCBot در بخش آموزش قرار دارد و ابزار هشدار میدهد اگر برخی خزندههای آموزشی مسدود باشند، اما CCBot مسدود نباشد.
doi.org/10.1145/3630106.3659033 · مقالۀ کنفرانس
Dodge, J.; Sap, M.; Marasović, A. و دیگران (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021)، صفحات 1286–1305
یافته پیکرۀ آموزشی C4 از یک نسخۀ برداشتشدۀ Common Crawl ساخته شد و متنهایی از منابع غیرمنتظره مانند اسناد ثبت اختراع و صفحات نظامی را در بر دارد.
در ابزار این یافته ادعای متن را پشتیبانی میکند که پیکرههای آموزشی از نسخههای ثابت برداشتشده ساخته میشوند: محتوایی که یک بار در آنها قرار گرفته باشد، با ممنوعیت بعدی از دسترس خارج نمیشود.
doi.org/10.18653/v1/2021.emnlp-main.98 · مقالۀ کنفرانس
Aggarwal, P.; Murahari, V.; Rajpurohit, T. و دیگران (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)، صفحات 5–16
یافته محتوا را طوری آماده کرده میتوان که ارجاع به آن در موتورهای جستجوی هوش مصنوعی تا 40 درصد بیشتر دیده شود؛ مؤثر بودن روش به حوزۀ تخصصی بستگی دارد.
در ابزار این یافته پشتوانۀ این تفکیک است: دسترسی پیششرط است؛ اینکه ارجاع داده شود یا نه، به محتوا بستگی دارد. صفحه برای این موضوع به AI-SEO ارجاع میدهد.
doi.org/10.1145/3637528.3671900 · مقالۀ کنفرانس
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023، صفحات 7001–7025
یافته در چهار موتور جستجوی هوش مصنوعی، به طور میانگین فقط کمی بیش از نصف جملهها کاملاً با منابع پشتیبانی میشدند و حدود یک چهارم ارجاعها، جملۀ مربوط را تأیید نمیکردند.
در ابزار این یافته پشتوانۀ این محدودیت است که دسترسی آزاد، ارجاع درست را تضمین نمیکند: ابزار امکان خواندن را بررسی میکند، نه جواب را.
doi.org/10.18653/v1/2023.findings-emnlp.467 · مقالۀ کنفرانس
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026)، صفحات 529–546
یافته در 55.393 جستجو، خلاصۀ هوش مصنوعی در 13,7 درصد موارد ظاهر شد؛ برای پرسشها این رقم 64,7 درصد بود. نزدیک به 30 درصد دامنههایی که به آنها ارجاع شده بود، در نتایج صفحۀ اول نبودند.
در ابزار این یافته توضیح میدهد که چرا Googlebot در ابزار بررسی آمده است: خلاصههای هوش مصنوعی منابع را از فهرست جستجو انتخاب میکنند، اما نه فقط از نتایج نخست.
doi.org/10.1145/3777912.3839818 · مقالۀ کنفرانس
Grossman, R.; Liu, S.; Chen, M. K. و دیگران (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)، صفحات 448–459
یافته در 11.500 جستجو، منابع جستجوی Google، خلاصۀ هوش مصنوعی و Gemini تفاوت زیادی داشتند. ویبسایتهایی که خزندۀ هوش مصنوعی Google را مسدود میکنند، کمتر در خلاصههای هوش مصنوعی بهعنوان منبع استفاده شدند.
در ابزار نکتۀ مربوط به مسدود بودن Google-Extended این یافته را در کنار گفتۀ Google قرار میدهد که این تنظیم بر جستجو تأثیر ندارد.
doi.org/10.1145/3805712.3809667 · مقالۀ کنفرانس
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56، صفحات 29–41
یافته اندازهگیری روی حدود 4 میلیون دامنه نشان میدهد: robots.txt همچنان مهمترین وسیله است؛ فایلهای ویژۀ هوش مصنوعی مانند ai.txt و llms.txt بیشتر در شرکتهای تکنالوژی رواج مییابند. بعضی لینکهای فایلهای llms.txt به صفحاتی اشاره میکنند که robots.txt آنها را مسدود کرده است.
در ابزار به همین دلیل بررسی میشود که آیا لینکهای llms.txt به صفحات مسدودشده اشاره میکنند یا نه.
doi.org/10.1145/3831956.3831960 · مجلۀ علمی
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58، مقالۀ 106176
یافته با هوش مصنوعی مولد، نادیده گرفتن robots.txt پیامدهای جدیتری دارد. این تحقیق برای کشورهای دارای نظام کامنلا استدلال میکند که این فایل در شرایطی میتواند بهعنوان قرارداد یکجانبه یا هشداری با پیامدهای مسئولیت حقوقی عمل کند.
در ابزار این یافته پشتوانۀ این نکته است که robots.txt فراتر از یک موضوع تخنیکی است، با این محدودیت که وضعیت حقوقی در آلمان باید جداگانه بررسی شود.
doi.org/10.1016/j.clsr.2025.106176 · مجلۀ علمی
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، صفحات 197–214
یافته حدود 1,68 درصد ویبسایتها در یک نسخۀ برداشتشدۀ Common Crawl صریحاً دسترسی خزنده را رد کردند؛ اغلب از سوی فراهمکنندگان بزرگ میزبانی و خدمات ساخت ویبسایت، با روشهایی از مسدودسازی تا نمایش صفحۀ بررسی.
در ابزار به همین دلیل، وقتی صفحۀ اصلی یک صفحۀ بررسی برمیگرداند، این نکته نمایش داده میشود: محافظت در برابر باتها مستقل از robots.txt دسترسی را مسدود میکند.
doi.org/10.1007/978-3-031-85960-1_9 · مقالۀ کنفرانس
معیارها، ادارات و معلومات تولیدکنندگان
- RFC 9309: پروتوکول منع دسترسی رباتها · IETF، سپتمبر 2022
- Google مشخصات robots.txt را چگونه تفسیر میکند (کودهای وضعیت، 500 KiB، حافظۀ موقت) · Google Search Central
- مروری بر خزندههای OpenAI · OpenAI
- آیا Anthropic دادهها را از ویب جمعآوری میکند و مالکان ویبسایت چگونه میتوانند خزنده را مسدود کنند؟ · Anthropic
- خزندههای عمومی Google (Google-Extended) · Google Search Central
- دریافتکنندههای Google که به درخواست کاربر فعال میشوند (Google-Agent) · Google Search Central
- قابلیتهای هوش مصنوعی و ویبسایت شما · Google Search Central
- خزندههای Perplexity · Perplexity
- دربارۀ Applebot · Apple، آخرین بازنگری: 4 سپتمبر 2026
- خزندههای ویب Meta · Meta
- Amazonbot, Amzn-SearchBot, Amzn-User · Amazon، آخرین بازنگری: 26 اکتوبر 2026
- محتوای شما، انتخاب شما: ترجیحات روشنتر برای آموزش و استناد به منابع · Microsoft Bing، 30 اکتوبر 2026
- خزندههای Mistral AI · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- خزندههای ویب Cohere (در حال حاضر خزندهای ندارد) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · پیشنویس IETF، 30 اکتوبر 2026
- روشی نو برای کنترول آموزش هوش مصنوعی (نشانۀ آموزش) · Google Search Central Blog، 30 اکتوبر 2026
- آسانتر کردن بیان ترجیحات ویبسایتها دربارۀ آموزش هوش مصنوعی · OpenAI، 30 اکتوبر 2026
- فایل /llms.txt · llmstxt.org، پیشنهاد مورخ 3 سپتمبر 2024
- § 44b UrhG متنکاوی و دادهکاوی · gesetze-im-internet.de
12 / ابزارهای دیگر
هنوز سوالی دارید؟
- AT-W2 · شخصی و شرکتها
بررسی Windows 10
آیا این کمپیوتر هنوز آپدیتهای امنیتی میگیرد، و تا اکتوبر 2027 چه باید کرد؟ - AT-W3 · شخصی و شرکتها
پلانگذار وایفای
خانه، دفتر یا سالون شما به چند Access Point یا نقطۀ Mesh ضرورت دارد؟ - AT-W4 · شرکتها
بررسی آمادگی برای حالت اضطراری آیتی
شرکت شما بعد از یک خرابی چقدر زود دوباره کار کرده میتواند؟ - AT-W5 · شرکتها
بررسی ایمیل
ایمیلهای شما در اسپم میرود؟ SPF، DKIM و DMARC دومین شما به زبان ساده. - AT-W6 · شرکتها
حسابگر UPS (USV)
کدام UPS (USV) سرور، روتر و صندوق را هنگام قطع برق به اندازۀ کافی روشن نگه میدارد؟ - AT-W8 · شرکتها
نمایشگر XRechnung
یک XRechnung به شکل فایل XML گرفتهاید؟ اینجا خوانا میشود، بدون اینکه فایل از کمپیوتر شما بیرون برود.
نتیجۀ کاپیشده را برای ما بفرستید. ما robots.txt، llms.txt و دادههای ساختاریافته را طوری تنظیم میکنیم که جستجوهای هوش مصنوعی صفحات شما را خوانده بتوانند و آموزش فقط در جایی انجام شود که شما میخواهید؛ در رودویش (Rodewisch) و سراسر فوگتلند (Vogtland).
+49 3744 4399760[email protected]دوشنبه تا جمعه، ساعت 8 تا 17 · Straße der Jugend 5, 08228 Rodewisch