الأداة AT-W29REV. 2026-A
فحص زواحف الذكاء الاصطناعي: هل يُسمح لـ ChatGPT وClaude وPerplexity بقراءة موقعكم؟
يحدد robots.txt ما إذا كان يُسمح لمساعد ذكاء اصطناعي بقراءة موقعكم: لكل زاحف مجموعة مستقلة، وإلا تسري القاعدة العامة „User-agent: *". الغرض هو الحاسم. يجمع GPTBot وClaudeBot للتدريب، وOAI-SearchBot وClaude-SearchBot لبحث الذكاء الاصطناعي، ويجلب ChatGPT-User صفحة عندما يسأل شخص عنها في الدردشة. يقرأ الفحص قواعدكم لـ 27 زاحفاً، ويتحقق من llms.txt، وينشئ لكم الكتلة المناسبة.
- مجاني
- دون تسجيل
- 5 دقائق في الذاكرة المؤقتة
01 / طلب
أدخلوا النطاق واقرؤوا الوصول لكل زاحف
طلب · robots.txt وllms.txt والصفحة الرئيسية
يقرأ الفحص القواعد كما هي اليوم على السيرفر ويقيّمها وفق RFC 9309. ويقرر مشغّل الزاحف ما إذا كان سيلتزم بها.
من دون طلب: ألصقوا نص robots.txt
مثلاً لملف لم يُنشر بعد. يبقى النص في المتصفح؛ ويسري المسار المذكور أعلاه.
02 / الزواحف
ما زواحف الذكاء الاصطناعي الموجودة ولماذا تقرأ
لا يرسل كبار المزوّدين زاحفاً واحداً، بل عدة زواحف بحسب الغرض. وهذه أهم نقطة عند الإعداد: من يمنع „الذكاء الاصطناعي" يخرج غالباً أيضاً من بحث الذكاء الاصطناعي ولا يُذكر فيه مصدراً. منذ 2023 تحجب المواقع مزوّدي الذكاء الاصطناعي بشكل متزايد وبطرق مختلفة جداً؛ ووجد الباحثون تناقضات متكررة بين شروط الاستخدام وrobots.txt Longpre وآخرون 2024. لذلك يعرض الفحص كل زاحف على حدة.
| النوع | المدخلات | ماذا تفعل |
|---|---|---|
| بحث الذكاء الاصطناعي | 11 | يبني الفهرس الذي يستمد منه مساعد ذكاء اصطناعي أو محرك بحث إجابات مع مصادر. عند منعه، تظهر الصفحة فيه كمصدر بوتيرة أقل أو لا تظهر إطلاقاً كمصدر. |
| التدريب | 6 | يجمع محتوى تتعلم منه نماذج اللغة. يسري المنع على دورات التدريب المقبلة، لا على النماذج المدرّبة سابقاً. |
| مفتاح للتدريب | 2 | ليس زاحفاً مستقلاً. تخبر القاعدة المشغّل إن كان يمكنه استخدام ما جلبه أصلاً للتدريب. |
| طلب المستخدم | 7 | يجلب صفحة واحدة لأن إنساناً سأل عنها للتو. يكتب عدة مشغّلين أن robots.txt لا ينطبق على ذلك أو لا ينطبق دائماً. |
يستحق مدخلان نظرة ثانية. لا يدرّب Common Crawl نموذجاً بنفسه، لكنه يبني أكبر أرشيف ويب متاح بحرية، وهو من أهم مصادر التدريب المسبق لنماذج اللغة الكبيرة Baack 2024. مثلاً، نشأت مجموعة التدريب المعروفة C4 من لقطة واحدة كهذه Dodge وآخرون 2021. لذلك من يرفض التدريب يمنع CCBot أيضاً؛ لكن لا يمكن لأي قاعدة استرجاع ما هو موجود بالفعل في لقطة. والثاني هو Googlebot: هو في القائمة لأن نظرات الذكاء الاصطناعي ووضع الذكاء الاصطناعي في بحث Google يعتمدان على فهرسه. ولا يمنعه من يريد أن يُعثر عليه في Google.
كل الزواحف الـ 27 المدرجة
| الاسم في robots.txt | المشغّل | الغرض | robots.txt يسري | ما يكتبه المشغّل |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | بحث الذكاء الاصطناعي | نعم، بحسب المشغّل | يغذي البحث في ChatGPT. من يمنعه لا يظهر هناك مصدراً في الإجابات. |
| Claude-SearchBot | Anthropic | بحث الذكاء الاصطناعي | نعم، بحسب المشغّل | يخدم البحث في Claude. عند منعه، تظهر الصفحة أقل في النتائج. |
| Googlebot | بحث الذكاء الاصطناعي | نعم، بحسب المشغّل | زاحف بحث Google. تعتمد عليه أيضاً نظرات الذكاء الاصطناعي ووضع الذكاء الاصطناعي؛ وتُضبط هناك عبر nosnippet وmax-snippet وnoindex. | |
| PerplexityBot | Perplexity | بحث الذكاء الاصطناعي | نعم، بحسب المشغّل | يبني الفهرس الذي يربط Perplexity منه بالمصادر. ووفق المشغّل، ليس لتدريب النماذج. |
| Applebot | Apple | بحث الذكاء الاصطناعي | نعم، بحسب المشغّل | زاحف للبحث في Siri وSpotlight وSafari. وفق Apple، قد تدخل البيانات أيضاً في تدريب نماذج Apple؛ ولهذا يوجد Applebot-Extended. |
| meta-webindexer | Meta | بحث الذكاء الاصطناعي | نعم، بحسب المشغّل | يفهرس للبحث في Meta AI كي تتمكن Meta من الاستشهاد بالمحتوى وربطه. |
| Amzn-SearchBot | Amazon | بحث الذكاء الاصطناعي | نعم، بحسب المشغّل | لوظائف البحث في منتجات Amazon مثل Alexa، وليس للتدريب وفق Amazon. |
| bingbot | Microsoft | بحث الذكاء الاصطناعي | نعم، بحسب المشغّل | زاحف Bing. لا تسمي Microsoft معرّفاً مستقلاً للذكاء الاصطناعي؛ وتوجّه قواعد التدريب وإجابات الذكاء الاصطناعي إلى Bingbot من شباط/فبراير 2027. |
| MistralAI-Index | Mistral | بحث الذكاء الاصطناعي | نعم، بحسب المشغّل | يزحف لفهرس البحث فقط، وليس للتدريب وفق Mistral. |
| DuckAssistBot | DuckDuckGo | بحث الذكاء الاصطناعي | نعم، بحسب المشغّل | يجلب صفحات فورياً لإجابات الذكاء الاصطناعي من DuckDuckGo مع ذكر المصدر. وليس للتدريب وفق المشغّل. |
| YouBot | You.com | بحث الذكاء الاصطناعي | نعم، بحسب المشغّل | زاحف محرك البحث You.com. يلتزم بـ robots.txt، بما فيها Crawl-delay. |
| GPTBot | OpenAI | التدريب | نعم، بحسب المشغّل | يجمع محتوى قد يدخل في تدريب نماذج OpenAI. ووفق OpenAI، المنع يعني: لا يُستخدم للتدريب. |
| ClaudeBot | Anthropic | التدريب | نعم، بحسب المشغّل | يجمع محتوى قد يدخل في تدريب نماذج Anthropic. تلتزم Anthropic بـ robots.txt وCrawl-delay أيضاً. |
| meta-externalagent | Meta | التدريب | نعم، بحسب المشغّل | يجمع لتدريب نماذج الذكاء الاصطناعي ولمنتجات Meta. |
| Amazonbot | Amazon | التدريب | نعم، بحسب المشغّل | يحسّن منتجات Amazon، وقد يشمل ذلك تدريب نماذج الذكاء الاصطناعي لدى Amazon. لا يراعي Crawl-delay. |
| MistralAI-Training | Mistral | التدريب | نعم، بحسب المشغّل | يجمع محتوى لبيانات تدريب نماذج Mistral. |
| CCBot | Common Crawl | التدريب | نعم، بحسب المشغّل | يبني أرشيفاً متاحاً بحرية للويب. لا يدرب Common Crawl شيئاً بنفسه، لكن الأرشيف من أهم مصادر بيانات التدريب. |
| Google-Extended | مفتاح للتدريب | نعم، بحسب المشغّل | ليس زاحفاً مستقلاً، بل مفتاح: هل يجوز أن تدخل طلبات Google في تدريب نماذج Gemini المستقبلية وفي إسناد إجابات Gemini؟ ووفق Google، لا يؤثر في بحث Google. | |
| Applebot-Extended | Apple | مفتاح للتدريب | نعم، بحسب المشغّل | ليس زاحفاً مستقلاً. عند منعه، لا تستخدم Apple المحتوى لتدريب نماذجها؛ وتبقى الصفحة في البحث. |
| ChatGPT-User | OpenAI | طلب المستخدم | ليس دائماً | يجلب صفحة عندما يسأل أحد عنها في ChatGPT. ووفق OpenAI، قد لا تنطبق عليه قواعد robots.txt. |
| Claude-User | Anthropic | طلب المستخدم | نعم، بحسب المشغّل | يجلب الصفحات عندما يطرح المستخدمون سؤالاً في Claude. تكتب Anthropic أن بوتاتها تلتزم بـ robots.txt. |
| Google-Agent | طلب المستخدم | ليس دائماً | يتصفح نيابةً عن مستخدم وينفذ إجراءات. ووفق Google، تتجاوز طلبات المستخدم robots.txt عادةً. | |
| Perplexity-User | Perplexity | طلب المستخدم | ليس دائماً | يجلب صفحات عندما يسأل مستخدم. ويتجاهل robots.txt عادةً وفق Perplexity. |
| meta-externalfetcher | Meta | طلب المستخدم | ليس دائماً | يجلب روابط مفردة بطلب مستخدم، بما فيها لوكلاء الذكاء الاصطناعي. وقد يتجاوز robots.txt وفق Meta. |
| Amzn-User | Amazon | طلب المستخدم | ليس دائماً | يجلب بيانات حديثة لسؤال مستخدم، مثلاً لـ Alexa. لا يلتزم بكل قواعد robots.txt وفق Amazon. |
| MistralAI-User | Mistral | طلب المستخدم | نعم، بحسب المشغّل | يجلب صفحة عندما يسأل مستخدم ويضع رابطاً إليها كمصدر. وتحدد مجموعة robots.txt، وفق Mistral، الصفحات التي تُؤخذ في الاعتبار لذلك. |
| Bytespider | ByteDance | غير واضح | غير مثبت | لم نجد وثائق من المشغّل. الغرض وطريقة التعامل مع robots.txt غير مثبتين. |
غير مدرج: أسماء من أدلة البوتات لا يسميها المشغّل نفسه (مثل anthropic-ai أو cohere-ai). ووفق وثائق Cohere الخاصة، لا تشغّل الشركة زاحفاً حالياً؛ ولا تسمي Microsoft معرّفاً مستقلاً للذكاء الاصطناعي، بل توجّه قواعدها للذكاء الاصطناعي إلى bingbot. الحالة في 14 تشرين الثاني/نوفمبر 2026.
03 / المولّد
امنعوا التدريب واسمحوا ببحث الذكاء الاصطناعي: الكتلة المناسبة
معظم الشركات تريد الشيء نفسه: أن تظهر مصدراً في إجابات ChatGPT أو Claude أو Perplexity، لكن من دون تقديم مادة تدريب من دون طلب. المولّد مضبوط مسبقاً لهذا الغرض. ينشئ كل مجموعة على حدة وبـ Allow وDisallow فقط، من دون رموز بديلة، لأن حتى الزواحف التجارية تسيء فهم قواعد معينة مراراً Giles وآخرون 2010. ألصقوا الكتلة في robots.txt الحالية؛ وتبقى مجموعة „User-agent: *" كما هي.
مولّد · كتلة robots.txt
يعمل المولّد في المتصفح ولا يرسل شيئاً.
مولّد · هيكل llms.txt
يعمل في المتصفح. يوضع الملف باسم llms.txt في المجلد الرئيسي للموقع.
أكثر فخ شائع: المجموعات لا ترث شيئاً
يتبع الزاحف المجموعة المطابقة لاسمه بالضبط. إن وُجدت، فلا تسري عليه القاعدة العامة بعد ذلك، ولا حتى جزئياً. في المثال إلى اليمين تمنع „User-agent: *" القسم /intern/، لكن GPTBot لديه مجموعة مستقلة فيها „Allow: /".
النتيجة لـ /intern/preise: ClaudeBot محظور (السطر 2: Disallow: /intern/ (المجموعة *))، بينما يُسمح لـ GPTBot بالقراءة (السطر 5: Allow: / (المجموعة GPTBot)). لذلك ينبغي وضع ما يُراد منعه للجميع في كل مجموعة مسماة. في المولّد تدخلون هذه الأقسام مرة واحدة، وهو يكررها في كل مكان.
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
إشارة التدريب المشتركة
منذ 30 تشرين الأول/أكتوبر 2026، توجد مسودة لدى IETF هدفها اختصار عمليات المنع الفردية: مجموعة „User-agent: __usage_ai-training" مع „Disallow: /" تخبر جميع المزوّدين المشاركين دفعة واحدة بأنكم لا ترغبون في التدريب. تعمل المسارات كما في غيرها، و„Allow: /presse/" يستثني الملف الصحفي. ليست المجموعة أمراً للزحف، ولا تُحتسب القاعدة العامة „User-agent: *" لذلك صراحةً. ولأن المسودة جديدة ولا يقرأها كل مزوّد بعد، ينشئ المولّد الأمرين: المجموعات الفردية والإشارة.
| مزوّد الخدمة | منذ متى |
|---|---|
| Anthropic | منذ 30 تشرين الأول/أكتوبر 2026؛ تتقدم مجموعة ClaudeBot المسماة |
| Microsoft (Bing) | اعتباراً من 1 شباط/فبراير 2027 |
| مخطط له في 2027؛ من دون مجموعة Google-Extended مستقلة، تقيّم Google الرفض عندئذٍ كمنع لـ Google-Extended | |
| OpenAI | „خلال الأشهر المقبلة"؛ تبقى قواعد GPTBot |
المصدر: draft-kelley-aipref-training-preference-signal-00، ليس له وضع معيار، وتنتهي صلاحيته في 3 أيار/مايو 2027. الحالة في 14 تشرين الثاني/نوفمبر 2026.
04 / القواعد
هكذا يقرأ الزاحف robots.txt لديكم
منذ أيلول/سبتمبر 2022، ثُبتت الطريقة في RFC 9309، ويحسب الفحص وفقها أيضاً. يوجد الملف دائماً تحت /robots.txt في المجلد الرئيسي، ويسري فقط على هذا المضيف تحديداً: إذا أعاد ihre-firma.de التوجيه إلى www.ihre-firma.de، فالملف على www هو الذي يُحتسب. يبحث الزاحف عن المجموعة التي تحمل اسمه، ولا فرق بين الأحرف الكبيرة والصغيرة؛ فإن لم توجد، يأخذ „User-agent: *"، وإن لم توجد هذه أيضاً، يُسمح له بكل شيء. داخل المجموعة تفوز أطول قاعدة مطابقة، وعند التعادل يفوز Allow. تعني النجمة أي أحرف، وتعني علامة الدولار في النهاية نهاية الرابط.
أظهر مسح شمل 7,593 موقعاً في 2007 أن استخدام الملف يتزايد، وأظهر أيضاً حقيقته: قاعدة تلتزم بها الزواحف المحترمة، لا وسيلة تنفيذ Sun وآخرون 2007. ولم يتغير ذلك.
| الاستجابة | RFC 9309 | |
|---|---|---|
| 200، ملف نصي | تسري القواعد، وتُقرأ 500 KiB على الأقل | كذلك، ويُتجاهل كل ما بعد 500 KiB |
| 200، لكن صفحة ويب | لا سطر صالح، وبالتالي لا قاعدة | كذلك |
| 404 وغيرها من 4xx | لا يوجد robots.txt، وكل شيء مسموح | كل شيء مسموح، باستثناء 429 |
| 429 طلبات كثيرة جداً | مثل 4xx | مثل خطأ في السيرفر |
| 5xx أو غير قابل للوصول | كل شيء محظور | لا زحف لمدة 12 ساعة، ثم تُستخدم آخر نسخة سليمة حتى 30 يوماً |
| إعادة توجيه | يتبع خمس عمليات إعادة توجيه على الأقل | خمس عمليات إعادة توجيه على الأقل، ثم مثل 404 |
تخزن Google الملف غالباً حتى 24 ساعة، وAmazon حتى 30 يوماً. لذلك لا تسري التغييرات فوراً. يتبع طلبنا ثلاث عمليات إعادة توجيه كحد أقصى. الحالة في 14 تشرين الثاني/نوفمبر 2026.
تعليمات داخل الصفحات نفسها
إلى جانب robots.txt توجد تعليمات لكل صفحة، كوسم Meta في الرأس أو كوسم X-Robots في استجابة السيرفر. يقرأها الفحص في الصفحة الرئيسية. وللذكاء الاصطناعي، الأهم هو: noindex يزيل الصفحة من فهرس البحث، وبالتالي من نظرات الذكاء الاصطناعي أيضاً؛ وnosnippet يمنع مقتطف النص لدى Google، بما فيها نظرات الذكاء الاصطناعي ووضع الذكاء الاصطناعي. تقرأ Amazon noarchive بمعنى „ليس للتدريب". وتقدم Microsoft، اعتباراً من 1 شباط/فبراير 2027، تعليمات مستقلة للتدريب والإسناد (ai-training، ai-grounding)، ولن تقرأ noarchive وnocache اعتباراً من آذار/مارس 2027 كتعليمات للذكاء الاصطناعي. تعليمات مثل „noai" منتشرة، لكن لا يوثقها أي مشغّل في قائمتنا.
05 / الحدود
ما لا يفعله robots.txt
- إنه طلب. في تجارب على 130 بوتاً مسمى خلال 40 يوماً، التزمت البوتات بالقواعد الصارمة بدرجة أقل، ولم تطلب زواحف بحث الذكاء الاصطناعي الملف غالباً أصلاً Kim وآخرون 2025.
- لا يسري إلا على الأسماء. أثبتت مواقع جرى إعدادها خصيصاً أي طالب يزوّد أي نظام ذكاء اصطناعي، بما في ذلك عدة جهات لا يكشفها مشغّلها Seiden وآخرون 2026. من يأتي باسم آخر لا تصيبه أي قاعدة.
- طلبات المستخدم تتجاوز أحياناً. تكتب OpenAI وPerplexity وMeta وAmazon وGoogle بنفسها أن طلباتها بناءً على رغبة مستخدم لا تتبع robots.txt دائماً. أما Anthropic وMistral فتسميان الملف وسيلة تحكم لهذه الطلبات أيضاً.
- الحظر الصارم يكون على السيرفر. غالباً ما كان الفنانون يفتقرون إلى المعرفة أو الوصول إلى موقعهم لاستخدام robots.txt، وكانت عمليات الحظر في Reverse Proxy أكثر فعالية Liu وآخرون 2025. وبالعكس، تحظر بعض شركات الاستضافة ومنشئي المواقع الزواحف من دون علم المالك: في لقطة Common Crawl، رفض نحو 1.68 بالمئة من المواقع الزاحف صراحةً Ansar وآخرون 2025. إذا ردت صفحتكم الرئيسية على طلبنا بصفحة تحقق، يبلغكم الفحص بذلك.
- طلبنا ليس زاحف ذكاء اصطناعي. يجلب السيرفر بمعرّف خاص به. إذا حظر جدار ناري الزواحف بالاسم، مثلاً عبر إعداد في Cloudflare، فلا يرى الفحص ذلك.
وماذا قانونياً؟
بموجب § 44b Abs. 3 UrhG، يُسمح بالتنقيب النصي والبياني في الأعمال المتاحة بحرية ما لم يحتفظ صاحب الحق بذلك لنفسه، وبالنسبة للمحتوى على الإنترنت لا يُعتد إلا بتحفظ بصيغة قابلة للقراءة آلياً. robots.txt قابل للقراءة آلياً، لكن لم يُحسم نهائياً إن كان يكفي كتحفظ. وتبيّن دراسة قانونية لبلدان القانون العام أن تجاوز الملف قد ينشئ مسؤولية في ظروف معينة Chang und He 2025؛ ويجب فحص ذلك على حدة في ألمانيا. لذلك من يريد إعلان تحفظ يكتبه أيضاً في بيانات الشركة أو شروط الاستخدام. هذه ليست استشارة قانونية.
06 / LLMS.TXT
llms.txt: ما الذي يستطيع الملف فعله وما لا يستطيع
اقترح Jeremy Howard ملف llms.txt في 3 أيلول/سبتمبر 2024، ووصفه موجود على llmstxt.org. هو ملف Markdown تحت /llms.txt: عنوان يحمل الاسم، وهذا الجزء الإلزامي الوحيد، ثم وصف قصير كاقتباس، وبإمكانكم إضافة بضع جمل وأقسام تضم قوائم روابط لأهم الصفحات. ويضم قسم „Optional" ما يمكن للمساعد تجاوزه.
وجد قياس شمل نحو 4 ملايين نطاق أن الملف موجود خصوصاً لدى شركات التقنية، وأن بعض روابطه تشير إلى صفحات تحظرها robots.txt الخاصة بها Hoffmann وآخرون 2026. وهذا بالضبط ما يتحقق منه الفحص. فدليل الطريق إلى صفحات محظورة لا يؤدي إلى شيء.
بصراحة: تكتب Google في وثائقها عن نظرات الذكاء الاصطناعي أنه لا يلزم إنشاء ملفات جديدة قابلة للقراءة آلياً لذلك، ولا يكتب أي من المشغّلين المدرجين هنا في وثائق زواحفه أنه يقرأ llms.txt لمواقع أخرى. لذلك ليس الملف وسيلة لزيادة الظهور. لكنه يظل مفيداً كوصف ذاتي قصير ونظيف يمكن لمساعد قراءته عند طلب مستخدم، ولأنه يُنجز في عشر دقائق.
ملفنا الخاص موجود تحت aureum-tech.com/llms.txt. أما هيكل ملفكم فينشئه المولّد أعلاه.
07 / الظهور
السماح بالقراءة لا يعني أن يُذكر موقعكم
يجيب الفحص عن سؤال أولي. ما إذا كان ChatGPT يذكر شركتكم عندما يسأل شخص عن كهربائي في بلاون يعتمد على محتوى صفحاتكم وما يكتبه الآخرون عنكم. في التجارب، أمكن زيادة ظهور المصادر في إجابات الذكاء الاصطناعي عبر إعداد المحتوى بما يصل إلى 40 بالمئة، بوسائل مختلفة بحسب المجال Aggarwal وآخرون 2024. وفي Google، ظهرت نظرة عامة بالذكاء الاصطناعي في 13.7 بالمئة من 55,393 عملية بحث، وفي 64.7 بالمئة من الأسئلة، ولم تكن قرابة 30 بالمئة من النطاقات المستشهد بها هناك ضمن نتائج الصفحة الأولى Xu وآخرون 2026.
والذِكر لا يعني أيضاً الاستشهاد الصحيح. في أربعة محركات بحث بالذكاء الاصطناعي، كان في المتوسط أكثر بقليل من نصف الجمل مدعوماً بالمصادر المذكورة Liu وآخرون 2023. ومن يمنع زاحف Google للذكاء الاصطناعي يُستخدم مصدراً بدرجة أقل في نظرات الذكاء الاصطناعي، رغم أن Google تكتب أن المفتاح لا يؤثر في البحث Grossman وآخرون 2026.
يوضح Quick-Check من SpotLens مدى ظهور شركتكم فعلياً في ChatGPT وPerplexity وذكاء Google. وتجدون تحت AI-SEO كيف نبني المحتوى والبيانات المنظّمة كي تستشهد به عمليات بحث الذكاء الاصطناعي. ومن يريد التحقق بنفسه أولاً يجد في المقالات والنصائح كيفية فحص الظهور في ChatGPT وما معنى الظهور في الذكاء الاصطناعي للشركات. اختبروا القواعد المفردة في فاحص robots.txt، وتجدون أدوات أخرى لتحسين إمكانية العثور عليكم تحت SEO والظهور.
08 / الأبحاث
ماذا تقول الأبحاث في ذلك
يعتمد التقييم في الفحص على 15 دراسة محكّمة. تجدون أدناه أهم النتائج والقائمة الكاملة مع ملاحظة التدقيق.
- تزداد عمليات المنع، ولكن بشكل غير متساوٍ. خلال عام واحد، مُنعت أجزاء كبيرة من المصادر المستخدمة لبيانات تدريب الذكاء الاصطناعي، بشكل مختلف بحسب المزوّد Longpre وآخرون 2024. لذلك يعرض الفحص الزواحف منفردة.
- تُتبع القواعد بانتقائية. كلما كانت القاعدة أشد صرامة، قل التزام البوتات بها Kim وآخرون 2025. لذلك لا يقيس الفحص ما لا يستطيع قياسه، ويقول ذلك بوضوح.
- يتم التدريب عبر الأرشيفات. يعد Common Crawl من أهم مصادر التدريب المسبق Baack 2024، وتنشأ مجموعات مثل C4 من لقطات مفردة Dodge وآخرون 2021. لذلك يحذّر الفحص عندما يبقى CCBot مفتوحاً.
- تختار نظرات الذكاء الاصطناعي مصادرها الخاصة. كثير من النطاقات المستشهد بها ليست في الصفحة الأولى Xu وآخرون 2026، ويرتبط منع زواحف الذكاء الاصطناعي بذكر أقل تكراراً Grossman وآخرون 2026.
- llms.txt جديد وغالباً متناقض. تشير الروابط في الملف أحياناً إلى صفحات محظورة Hoffmann وآخرون 2026؛ ويفحص الفحص كل رابط خاص بكم.
09 / لمساعدي الذكاء الاصطناعي
استخدام هذه الأداة من داخل مساعد ذكاء اصطناعي
المساعدات مثل Claude أو ChatGPT التي تدعم بروتوكول Model Context Protocol (MCP) تستطيع أن تستدعي حساب هذه الصفحة مباشرة بدل أن تعيد بناءه. السيرفر عام، لا يحتاج إلى تسجيل ولا يحفظ شيئاً. ويتضمن الجواب دائماً رابط هذه الصفحة وتاريخ البيانات وحدود النتيجة.
- نقطة الاتصال (Endpoint)
https://aureum-tech.com/mcp- الأداة
werkzeug_ki_crawler_check- بروتوكول النقل
- Streamable HTTP، للقراءة فقط
| الاسم | إلزامي | المعنى |
|---|---|---|
domain | لا | نطاق الموقع، مثل ihre-firma.de أو https://www.ihre-firma.de. يُتجاهل المسار، إذ يقع robots.txt دائماً في المجلد الجذر. مواقع عامة فقط، المنفذ 80 أو 443. |
robots_txt | لا | بدلاً من النطاق: نص robots.txt يُقيّم من دون إجراء طلب. لا تضعوه مع domain. |
pfad | لا | المسار المراد فحصه، مثلاً /blog/artikel. الصفحة الرئيسية „/" عند عدم الإدخال. |
أسئلة يُفترض أن يستدعي المساعد الأداة عندها
- „هل يُسمح لـ ChatGPT بقراءة موقع handwerk-muster.de؟"
- „هل تمنع robots.txt لدينا بالخطأ بحث الذكاء الاصطناعي في Perplexity وChatGPT؟"
- „كيف أمنع تدريب الذكاء الاصطناعي مع بقائي ظاهراً في بحث ChatGPT وClaude؟"
- „هل لدى www.beispiel-praxis.de ملف llms.txt، وهل تشير روابطه إلى صفحات محظورة؟"
كيف يتم الربط، وما الذي يمكن أن يقدمه MCP في شركتكم: تجدون ذلك في صفحة تكاملات MCP.
10 / الأسئلة الشائعة
أسئلة شائعة عن زواحف الذكاء الاصطناعي وrobots.txt وllms.txt
كيف أمنع تدريب الذكاء الاصطناعي من دون أن أختفي من بحث ChatGPT؟
يفصل OpenAI بين الأمرين: يجمع GPTBot للتدريب، وOAI-SearchBot للبحث في ChatGPT، وكل إعداد يعمل بشكل مستقل. لذلك تضعون في robots.txt لـ GPTBot „Disallow: /" ولـ OAI-SearchBot „Allow: /". وينطبق الشيء نفسه لدى Anthropic على ClaudeBot وClaude-SearchBot، أما لدى Google فتمنعون Google-Extended وتتركون Googlebot كما هو. ينشئ المولّد في هذه الصفحة الكتلة كاملةً لكل المزوّدين المدرجين.
ما الفرق بين GPTBot وOAI-SearchBot وChatGPT-User؟
يجمع GPTBot محتوى قد يدخل في تدريب النماذج المستقبلية. ويبني OAI-SearchBot الفهرس الذي يذكر ChatGPT منه المصادر عند البحث؛ ووفق OpenAI، من يمنعه لا يظهر هناك مصدراً في الإجابات. أما ChatGPT-User فيجلب صفحة واحدة لأن شخصاً سأل عنها للتو في الدردشة. ووفق OpenAI، قد لا تنطبق قواعد robots.txt على هذا الطلب.
هل يختفي موقعي من Google إذا منعت Google-Extended؟
لا. Google-Extended ليس زاحفاً مستقلاً، بل مفتاح يحدد إن كان يجوز لـ Google استخدام ما جلبته لتدريب Gemini ولإسناد إجابات Gemini. ووفق Google، لا يؤثر ذلك في الظهور في البحث ولا في الترتيب. تعتمد نظرات Google العامة بالذكاء الاصطناعي على Googlebot وعلى قواعد المقتطفات مثل nosnippet. لكن قياساً في 2026 وجد أن الصفحات التي منعت زاحف Google للذكاء الاصطناعي ظهرت مصدراً بصورة أقل في النظرات العامة بالذكاء الاصطناعي.
هل أحتاج إلى llms.txt؟
ليست إلزامية. llms.txt اقتراح من Jeremy Howard من أيلول/سبتمبر 2024: ملف Markdown بعنوان ووصف قصير وروابط لأهم الصفحات. وتكتب Google صراحةً أن النظرات العامة بالذكاء الاصطناعي لا تحتاج ملفات جديدة قابلة للقراءة آلياً، ولا يذكر أي مشغّل مدرج هنا في وثائق زواحفه أنه يقرأها. لا تضر، وإنشاؤها سريع؛ ويوفر المولّد هيكلها. والأهم ألا تشير روابطها إلى صفحات محظورة.
هل يلتزم كل زاحف بـ robots.txt؟
لا. robots.txt طلب وليس قفلاً. تُظهر القياسات أن البوتات تلتزم بالقواعد الأكثر صرامة بشكل أقل، وأن زواحف بحث الذكاء الاصطناعي لا تطلب الملف غالباً أصلاً. وقد تتجاوز طلبات المستخدم، مثل ChatGPT-User وPerplexity-User وmeta-externalfetcher، robots.txt وفقاً لمشغليها، ومن يجمع من دون اسم لا تنطبق عليه أي قاعدة. من يريد منعاً فعلياً يحتاج إلى حظر على السيرفر أو لدى المستضيف.
هل يسري المنع على النماذج التي تدرّبت مسبقاً؟
لا. تصف OpenAI وAnthropic المنع بأنه توجيه للتدريب المستقبلي. تنشأ بيانات التدريب من لقطات ثابتة للويب، مثل أرشيف Common Crawl؛ وما هو موجود فيه يبقى فيه. لذلك من المفيد التفكير في CCBot أيضاً إذا كنتم ترفضون التدريب.
ماذا تعني „User-agent: __usage_ai-training"؟
هذه إشارة التدريب المشتركة وفق مسودة IETF من 30 تشرين الأول/أكتوبر 2026. تخبر مجموعة بهذا الاسم مع „Disallow: /" جميع المزوّدين المشاركين دفعة واحدة بأنكم لا ترغبون في التدريب. تقول Anthropic إنها تراعيها بالفعل، وMicrosoft اعتباراً من 1 شباط/فبراير 2027، وتخطط Google لذلك في 2027 وOpenAI خلال الأشهر المقبلة. وهي ليست أمراً للزحف، ومجموعة „User-agent: *" لا تُحتسب لذلك صراحةً.
أين تنتهي حدود فحص زواحف الذكاء الاصطناعي؟
يقرأ قواعد robots.txt لديكم وllms.txt وتعليمات Robots في الصفحة الرئيسية، ويخبركم لكل زاحف بما هو مسموح. لكنه لا يقيس إن كان الزاحف يلتزم بها، ولا إن كان مساعد ذكاء اصطناعي يعرف شركتكم ويوصي بها. يوضح ذلك SpotLens-Quick-Check؛ أما كيفية إعداد المحتوى لكي تستشهد به عمليات بحث الذكاء الاصطناعي فتجدونها تحت AI-SEO. ويمكننا إعداد الملفات لكم عند الطلب.
11 / دراسات ومصادر
على ماذا تستند الأداة
القيم التقريبية والملاحظات أعلاه تستند إلى هذه الأبحاث العلمية الـ 15. وقد تحققنا من كل بحث عبر رقم DOI الخاص به أو عبر صفحة الناشر (آخر مرة في 14 تشرين الثاني/نوفمبر 2026): البحث موجود، ولم يُسحب، وما توصل إليه ما زال صالحاً للإجابة عن السؤال اليوم.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), ص. 1123–1124
النتيجة تُظهر خمسة مسوح شملت 7,593 موقعاً أن استخدام robots.txt يتزايد. الملف ليس وسيلة تنفيذ، بل قاعدة تلتزم بها الزواحف المحترمة.
في الأداة يرسّخ مبدأ الصفحة: robots.txt طلب للزواحف، وليس قفلاً.
doi.org/10.1145/1242572.1242726 · ورقة مؤتمر
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), ص. 1101–1102
النتيجة تصرفت معظم الزواحف التجارية وفق القواعد، لكن كثيراً منها خالف أو أساء فهم بعض قواعد robots.txt مراراً.
في الأداة لذلك ينشئ المولّد كل مجموعة مستقلة وبـ Allow وDisallow فقط، من دون رموز بديلة.
doi.org/10.1145/1772690.1772824 · ورقة مؤتمر
Kim, T.; Bock, K.; Luo, C. وآخرون (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), ص. 541–557
النتيجة في تجارب مضبوطة على 130 بوتاً معروفاً خلال 40 يوماً، التزمت البوتات بالقواعد الأكثر صرامة بدرجة أقل؛ وغالباً لم تطلب زواحف بحث الذكاء الاصطناعي ملف robots.txt أصلاً.
في الأداة يوضح حدّها: «تقرأ القواعد ولا تقيس السلوك»، والتنبيه الخاص بطلبات المستخدم المحظورة.
doi.org/10.1145/3730567.3764471 · ورقة مؤتمر
Liu, E.; Luo, E.; Shan, S. وآخرون (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. وقائع مؤتمر ACM لقياس الإنترنت لعام 2025 (IMC 2025)، ص. 78–99
النتيجة تُظهر القياسات واستبيان شمل 203 فنانين حاجة كبيرة إلى robots.txt، لكن أيضاً عوائق في المعرفة والوصول إلى الموقع الخاص. وفّرت عمليات الحظر عبر Reverse Proxy حمايةً أكثر فعالية، لكنها قليلة الانتشار.
في الأداة لذلك تنصح الأداة بإشراك شركة الاستضافة أو Proxy لإجراء حظر صارم، وتوفّر مولّداً لا يفترض معرفة مصطلحات تقنية.
doi.org/10.1145/3730567.3732913 · ورقة مؤتمر
Seiden, S.; Ren, T.; Zhang, C. وآخرون (2026): Identifying AI Web Scrapers Using Canary Tokens. وقائع مؤتمر ACM SIGSAC لأمن الحاسوب والاتصالات لعام 2026 (CCS 2026)، ص. 6998–7012
النتيجة باستخدام مواقع أُعدّت خصيصاً و22 نظام ذكاء اصطناعي، أمكن معرفة أي برنامج جلب يزوّد أي نموذج، بما في ذلك عدة برامج لا يكشف عنها مشغّلوها.
في الأداة يدعم ذلك حدّ الأداة بأن الجدول لا يعرف إلا الزواحف التي يوثّقها مشغّلها باسمه.
doi.org/10.1145/3830454.3846799 · ورقة مؤتمر
Longpre, S.; Mahari, R.; Lee, A. وآخرون (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. التقدم في أنظمة معالجة المعلومات العصبية 37 (NeurIPS 2024)، ص. 108042–108087
النتيجة وجدت مراجعة لـ 14,000 نطاق ضمن بيانات تدريب الذكاء الاصطناعي زيادة قوية في عمليات الحظر خلال سنة، وفروقاً كبيرة بين مزوّدي الذكاء الاصطناعي، وتعارضات متكررة بين شروط الاستخدام وrobots.txt.
في الأداة لذلك يعرض الفحص كل زاحف على حدة بدلاً من الاكتفاء بقول «الذكاء الاصطناعي مسموح» أو «الذكاء الاصطناعي محظور».
doi.org/10.52202/079017-3431 · ورقة مؤتمر
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. وقائع مؤتمر ACM لعام 2024 حول العدالة والمساءلة والشفافية (FAccT 2024)، ص. 2199–2208
النتيجة يُعد Common Crawl أكبر مجموعة متاحة بحرية من بيانات الويب، وأحد أهم المصادر للتدريب المسبق للنماذج اللغوية الكبيرة، وغالباً يشكّل جزءاً كبيراً من مواد التدريب.
في الأداة لذلك يظهر CCBot ضمن التدريب، ويحذّر الفحص إذا كانت زواحف تدريب معيّنة محظورة بينما CCBot ليس محظوراً.
doi.org/10.1145/3630106.3659033 · ورقة مؤتمر
Dodge, J.; Sap, M.; Marasović, A. وآخرون (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. وقائع مؤتمر عام 2021 حول الأساليب التجريبية في معالجة اللغة الطبيعية (EMNLP 2021)، ص. 1286–1305
النتيجة نشأت مجموعة تدريب C4 من نسخة واحدة من Common Crawl، وتضم نصوصاً من مصادر غير متوقعة مثل وثائق براءات الاختراع ومواقع عسكرية.
في الأداة يثبت ذلك في النص أن مجموعات التدريب تنشأ من نسخ ثابتة: ما يوجد فيها مرة لا يصل إليه منع لاحق.
doi.org/10.18653/v1/2021.emnlp-main.98 · ورقة مؤتمر
Aggarwal, P.; Murahari, V.; Rajpurohit, T. وآخرون (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)، ص. 5–16
النتيجة يمكن إعداد المحتوى بحيث تستشهد به محركات بحث الذكاء الاصطناعي بمعدل أعلى بما يصل إلى 40 بالمئة؛ وما ينجح يعتمد على المجال التخصصي.
في الأداة يدعم ذلك التمييز: الوصول شرط أساسي، أما الاستشهاد فيقرره المحتوى. ولهذا تحيل الصفحة إلى AI-SEO.
doi.org/10.1145/3637528.3671900 · ورقة مؤتمر
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. نتائج جمعية اللغويات الحاسوبية: EMNLP 2023، ص. 7001–7025
النتيجة في أربعة محركات بحث بالذكاء الاصطناعي، كان في المتوسط ما يزيد قليلاً على نصف الجمل فقط مدعوماً كاملاً بالمصادر، ولم يدعم نحو ربع الإحالات إلى المصادر الجملة المذكورة.
في الأداة يدعم ذلك حدّ الأداة بأن حرية الوصول لا تضمن استشهاداً صحيحاً: الفحص يتحقق من القراءة، لا من الإجابة.
doi.org/10.18653/v1/2023.findings-emnlp.467 · ورقة مؤتمر
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. وقائع مؤتمر ACM لقياس الإنترنت لعام 2026 (IMC 2026)، ص. 529–546
النتيجة في 55,393 عملية بحث، ظهرت نظرة عامة بالذكاء الاصطناعي في 13.7 بالمئة من الحالات، وفي 64.7 بالمئة من الأسئلة. وكان ما يقارب 30 بالمئة من النطاقات المُستشهَد بها خارج نتائج الصفحة الأولى.
في الأداة يوضح ذلك سبب وجود Googlebot في الفحص: تختار النظرات العامة بالذكاء الاصطناعي مصادر من الفهرس، لكن ليس من النتائج الأولى فقط.
doi.org/10.1145/3777912.3839818 · ورقة مؤتمر
Grossman, R.; Liu, S.; Chen, M. K. وآخرون (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)، ص. 448–459
النتيجة في 11,500 عملية بحث، اختلفت مصادر Google Search والنظرة العامة بالذكاء الاصطناعي وGemini بدرجة كبيرة. كانت المواقع التي تحظر زواحف الذكاء الاصطناعي من Google تُستخدم كمصدر في النظرات العامة بالذكاء الاصطناعي بوتيرة أقل.
في الأداة يضع التنبيه عند حظر Google-Extended هذه النتيجة بجانب قول Google إن هذا المفتاح لا يؤثر في البحث.
doi.org/10.1145/3805712.3809667 · ورقة مؤتمر
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56، ص. 29–41
النتيجة يُظهر قياس لنحو 4 ملايين نطاق أن robots.txt يبقى الوسيلة الأهم، بينما تظهر ملفات خاصة بالذكاء الاصطناعي مثل ai.txt وllms.txt أساساً لدى شركات التقنية. وتشير بعض روابط ملفات llms.txt إلى صفحات يحظرها robots.txt.
في الأداة من هنا يأتي فحص ما إذا كانت روابط llms.txt تشير إلى صفحات محظورة.
doi.org/10.1145/3831956.3831960 · مجلة علمية
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58، المقالة 106176
النتيجة مع الذكاء الاصطناعي التوليدي، يصبح تجاوز robots.txt أخطر. تبرر الدراسة بالنسبة لبلدان القانون العام أن الملف قد يعمل، في ظروف معينة، كعقد من طرف واحد أو كتحذير له عواقب قانونية.
في الأداة يدعم ذلك التنبيه بأن robots.txt أكثر من مجرد تقنية، مع التنبيه إلى وجوب فحص الوضع القانوني في ألمانيا بشكل منفصل.
doi.org/10.1016/j.clsr.2025.106176 · مجلة علمية
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. القياس السلبي والنشط (PAM 2025)، Lecture Notes in Computer Science، ص. 197–214
النتيجة رفض نحو 1.68 بالمئة من المواقع في نسخة من Common Crawl الزاحف صراحةً، وغالباً عبر شركات استضافة كبيرة ومزوّدي إنشاء المواقع، من الحظر حتى صفحة التحقق.
في الأداة لذلك يظهر تنبيه إذا كانت الصفحة الرئيسية ترد بصفحة تحقق: حماية البوتات تمنع الوصول بغض النظر عن robots.txt.
doi.org/10.1007/978-3-031-85960-1_9 · ورقة مؤتمر
معايير وجهات رسمية وبيانات الشركات المصنِّعة
- RFC 9309: بروتوكول استبعاد الروبوتات · IETF، أيلول/سبتمبر 2022
- كيف تفسّر Google مواصفة robots.txt (رموز الحالة، 500 KiB، التخزين المؤقت) · Google Search Central
- نظرة عامة على زواحف OpenAI · OpenAI
- هل تجمع Anthropic بيانات من الويب، وكيف يمكن لمالكي المواقع حظر الزاحف؟ · Anthropic
- زواحف Google الشائعة (Google-Extended) · Google Search Central
- برامج الطلب من Google التي يشغّلها المستخدم (Google-Agent) · Google Search Central
- ميزات الذكاء الاصطناعي وموقعكم · Google Search Central
- زواحف Perplexity · Perplexity
- عن Applebot · Apple، آخر تحديث 4 أيلول/سبتمبر 2026
- زواحف ويب Meta · Meta
- Amazonbot وAmzn-SearchBot وAmzn-User · Amazon، آخر تحديث 26 تشرين الأول/أكتوبر 2026
- محتواكم، اختياركم: تفضيلات أوضح للتدريب والإسناد · Microsoft Bing، 30 تشرين الأول/أكتوبر 2026
- زواحف Mistral AI · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- زواحف الويب Cohere (لا يوجد زاحف حالياً) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · مسودة IETF، 30 تشرين الأول/أكتوبر 2026
- طريقة جديدة للتحكم بتدريب الذكاء الاصطناعي (إشارة التدريب) · مدونة Google Search Central، 30 تشرين الأول/أكتوبر 2026
- تسهيل التعبير عن تفضيلات تدريب الذكاء الاصطناعي للمواقع · OpenAI، 30 تشرين الأول/أكتوبر 2026
- ملف /llms.txt · llmstxt.org، اقتراح من 3 أيلول/سبتمبر 2024
- § 44b UrhG: التنقيب في النصوص والبيانات · gesetze-im-internet.de
12 / أدوات أخرى
بقي عندكم سؤال؟
- AT-W2 · للأفراد والشركات
فحص Windows 10
هل ما زال هذا الكمبيوتر يحصل على تحديثات الأمان، وما المطلوب حتى تشرين الأول/أكتوبر 2027؟ - AT-W3 · للأفراد والشركات
مخطِّط الواي فاي
كم نقطة وصول (Access Point) أو نقطة Mesh يحتاج بيتكم أو مكتبكم أو صالة العمل عندكم؟ - AT-W4 · للشركات
فحص الجاهزية لطوارئ IT
كم يحتاج محلكم أو شركتكم من الوقت ليعود إلى العمل بعد عطل كبير؟ - AT-W5 · للشركات
فحص البريد الإلكتروني
هل تصل إيميلاتكم إلى مجلد الرسائل المزعجة (Spam)؟ إعدادات SPF و DKIM و DMARC لنطاقكم بشرح مفهوم. - AT-W6 · للشركات
حاسبة جهاز UPS (USV)
أي جهاز UPS (USV) يُبقي السيرفر والراوتر وجهاز الكاشير تعمل مدة كافية عند انقطاع الكهرباء؟ - AT-W8 · للشركات
عارض XRechnung
وصلتكم فاتورة XRechnung بصيغة ملف XML؟ هنا تصير مقروءة، من دون أن يغادر الملف جهازكم.
أرسلوا لنا النتيجة المنسوخة. نضبط robots.txt وllms.txt والبيانات المنظمة بحيث تقرأ عمليات بحث الذكاء الاصطناعي صفحاتكم، ولا يحدث التدريب إلا حيث تريدون، في روديفيش وفي كل فوغتلاند.
+49 3744 4399760[email protected]الاثنين–الجمعة، 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch