الأداة AT-W48REV. 2026-A
فاحص robots.txt: هل يُسمح لـ Googlebot بقراءة هذه الصفحة؟
يحدد سطر واحد في robots.txt هل يمكن لـ Googlebot جلب الصفحة: أطول قاعدة مطابقة في المجموعة المنطبقة على هذا الزاحف. ألصقوا ملفكم وأدخلوا المسارات أو العناوين الكاملة. تُظهر الأداة لكل من Googlebot وBingbot وGPTBot وزواحف أخرى هل المسار مسموح أم محظور وأي سطر حسم ذلك. وتنبه إلى الحالات التي يقرأها Google على نحو يخالف المواصفة.
- مجاني
- دون تسجيل
- يبقى النص في المتصفح
01 / الفاحص
ألصقوا robots.txt وافحصوا كل مسار على حدة
الفاحص · robots.txt وفق RFC 9309
تُحلّل القواعد وفق RFC 9309 والخصائص الموثقة للزواحف. ويقرر مشغّل كل زاحف ما إذا كان سيلتزم بها.
02 / القواعد
كيف يقرر الزاحف ما إذا كان سيجلب صفحة
تنظم RFC 9309 هذه الآلية منذ سبتمبر 2022. وقبل ذلك كانت اتفاقاً يعود إلى عام 1994، وكانت الزواحف الرئيسية تلتزم به بدرجات متفاوتة Sun وآخرون، 2010. يطبق الفاحص المواصفة بالترتيب الآتي.
- الملف. يوجد في المجلد الرئيسي على المسار /robots.txt. ولا يسري إلا على المضيف نفسه مع البروتوكول والمنفذ نفسيهما. لا يسري ملف ihre-firma.de على www.ihre-firma.de ولا على shop.ihre-firma.de.
- المجموعة. يبحث الزاحف عن المجموعة التي تحمل اسمه دون التفريق بين الأحرف الكبيرة والصغيرة. تُدمج المجموعات التي تحمل الاسم نفسه. إن لم يجد مجموعة باسمه، تسري «User-agent: *». وإن غابت أيضاً، فكل المسارات مسموحة.
- القاعدة. تسري أطول قاعدة Allow أو Disallow تطابق بداية المسار في المجموعة. وعند تساوي الطول تسري Allow. ترتيب السطور لا يؤثر.
- المحارف. تمثّل النجمة أي عدد من المحارف، وتحدد علامة الدولار في النهاية نهاية العنوان. ويؤثر فرق الأحرف الكبيرة والصغيرة في المسار. يقارن الزاحف الأحرف ذات العلامات بترميز النسبة المئوية، لذا يتطابق «/über» مع «/%C3%BCber».
- الاستثناء. يُتاح جلب ملف robots.txt نفسه للجميع، وتسري سطور Sitemap بصرف النظر عن المجموعات.
ما الذي يطابقه النمط؟
| النمط | يطابق | لا يطابق |
|---|---|---|
| /fisch | /fisch, /fisch.html, /fischkopf/rezept | /Fisch, /katalog/fisch |
| /fisch/ | /fisch/, /fisch/?sorte=lachs | /fisch, /fisch.html |
| /*.php | /index.php, /ordner/seite.php?id=1 | /, /seite.PHP |
| /*.php$ | /seite.php | /seite.php?id=1, /seite.php5 |
| /*?s= | /?s=preise, /blog/?s=test | /blog/?seite=2 |
تبدأ المقارنة دائماً من أول المسار، لذلك لا يطابق /fisch المسار /katalog/fisch. للمطابقة في أي موضع، ضعوا نجمة في بداية النمط.
تسري القاعدة الأطول
تحظر المجموعة في المثال المتجر وتستثني العروض. للمسار /shop/angebote/herbst تظهر نتيجة السماح بسبب السطر 3، «Allow: /shop/angebote/»، في المجموعة «User-agent: *». يبلغ طول هذه القاعدة 15 محرفاً، وهي أطول القواعد المطابقة، وعددها 2. أما /shop/kasse فمحظور لأن القاعدة الأقصر وحدها تطابقه.
خالفت زواحف تجارية قواعدَ معينة أو أساءت فهمها مراراً على مدى سنوات Giles وآخرون، 2010. وضحت المواصفة طريقة تحديد النتيجة، لكن بعض الزواحف لا يلتزم بها. لذلك تنبّه الأداة إلى السطور التي تختلف الزواحف في تفسيرها.
User-agent: * Disallow: /shop/ Allow: /shop/angebote/
أكثر فخ شائع: المجموعات لا ترث شيئاً
عندما تكون للزاحف مجموعة خاصة به، لا يسري عليه أي جزء من المجموعة العامة. في المثال يُراد حظر /intern/ على الجميع، لكن لـ Googlebot مجموعة خاصة بالمسودات. نتيجة /intern/preise هي الحظر لـ Bingbot والسماح لـ Googlebot. لذلك ضعوا ما تريدون تطبيقه على الجميع في كل مجموعة تحمل اسماً.
المجموعات ذات الأسماء شائعة. في دراسة مبكرة شملت 2,925 ملف robots.txt، أُتيح لمحركات البحث الكبيرة في معظم الحالات وصول أوسع عبر مجموعات خاصة بها Sun وآخرون، 2007b. وفي دراسة لاحقة شملت نحو 6 ملايين موقع، لم يظهر تفضيل يُذكر Kolay وآخرون، 2008. وسواء كان ذلك مقصوداً أم لا، تعرض الأداة المجموعة المنطبقة على كل زاحف تختارونه. وتُظهر النظرة العامة الزواحف التي تنطبق عليها كل مجموعة.
User-agent: * Disallow: /intern/ User-agent: Googlebot Disallow: /entwurf/
03 / Google
أين يختلف تفسير Google لملف robots.txt عن المواصفة؟
شارك Google في إعداد RFC ويلتزم بأساسياته. محلّل Google يتساهل في بعض المواضع ويتشدد في أخرى. وتوضح وثائقه ما لم يحدده RFC. تعمل الأداة وفق RFC وتنبّه إلى كل موضع اختلاف، لتتمكنوا من إعداد ملف يعمل بالطريقة نفسها مع الزواحف المختلفة.
| البند | RFC 9309 | |
|---|---|---|
| حجم الملف | قراءة ما لا يقل عن 500 KiB | قراءة 500 KiB على الأكثر وتجاهل ما بعدها |
| التخزين المؤقت | 24 ساعة على الأكثر، إلا إذا تعذّر الوصول إلى الملف | عادة حتى 24 ساعة، ولمدة أطول إذا تعذّر التحديث |
| إعادة توجيه | يتبع خمس عمليات إعادة توجيه على الأقل | خمس عمليات إعادة توجيه على الأقل، ثم مثل 404 |
| 404 وغيرها من 4xx | لا يوجد robots.txt، وكل شيء مسموح | المعاملة نفسها باستثناء 429 |
| 5xx أو غير قابل للوصول | تُحظر جميع المسارات. بعد مدة أطول (مثلاً 30 يوماً)، يُعامل الملف على أنه غائب أو تُستخدم النسخة المخزنة. | يتوقف الزحف 12 ساعة، ثم تُستخدم آخر نسخة سليمة مدة تصل إلى 30 يوماً (لا قيود إن لم توجد). بعدها يُعامل الموقف كأن الملف غائب إذا ظل الوصول إلى الموقع ممكناً. |
| التوجيهات | user-agent وallow وdisallow. ويمكن للزاحف تفسير سطور أخرى مثل sitemap. | فقط user-agent وallow وdisallow وsitemap. لا تأثير لـ noindex وnofollow وcrawl-delay منذ 1 سبتمبر 2019. |
| أخطاء الكتابة وغياب النقطتين | يُتجاهل السطر | مع ذلك يقرأ محلّل Google بعض الأخطاء الكتابية مثل «Disalow»، وبعض السطور الخالية من النقطتين. |
| اسم مع إضافة | لا تتكوّن الأسماء إلا من الأحرف وعلامتي - و_ | يُعامل «googlebot/1.2» و«googlebot*» معاملة «googlebot». |
| أحرف ذات علامات ومحارف خاصة | تُرمّز بترميز النسبة المئوية قبل المقارنة | تجري المقارنة بترميز النسبة المئوية |
| خريطة الموقع | يمكن للزاحف تفسيرها. | عنوان كامل يتضمن البروتوكول والمضيف، ويمكن أن تكون على مضيف آخر. |
المصادر هي RFC 9309 ووثائق Google عن robots.txt (23 أكتوبر 2026) ومدونة Google بتاريخ 2 يوليو 2019 ومحلّل Google. تم التحقق منها في 14 نوفمبر 2026.
لمحركات البحث الأخرى خصائصها. يراعي Bing توجيه Crawl-delay ويقرأ المجموعة msnbot إذا لم توجد مجموعة خاصة باسم bingbot. لا يراعي Yandex توجيه Crawl-delay منذ 22 فبراير 2018، وله مجموعة «User-agent: Yandex» لكل زواحفه. ويتبع زاحف Apple مجموعة Googlebot إذا لم يجد مجموعة خاصة به. أما زواحف الإعلانات لدى Google فتتجاوز المجموعة العامة كلياً. يوضح الجدول أدناه ما تراعيه الأداة من هذه الخصائص.
04 / الزواحف
ما الأسماء التي تُكتب في robots.txt؟
اكتبوا في سطر User-agent رمز المنتج، أي الاسم المختصر الذي يذكره مشغّل الزاحف في وثائقه لملف robots.txt، مثل «Googlebot». أما المعرّف الكامل الذي يظهر في سجل السيرفر فلا يُكتب هنا. تضم قائمة الفاحص الأسماء التي وثّقها مشغّلوها، ولا تراعي من السلوك الخاص إلا ما ذكروه في وثائقهم.
| الاسم في robots.txt | المشغّل | الغرض | الخاصية |
|---|---|---|---|
| Googlebot | البحث في Google، بما فيه الملخصات بالذكاء الاصطناعي | إذا لم توجد مجموعة خاصة به، تسري «*». | |
| Googlebot-Image | صور Google | إذا لم توجد مجموعة خاصة به، يتبع مجموعة Googlebot. | |
| bingbot | Microsoft | Bing وCopilot | إذا لم توجد مجموعة خاصة به، يتبع مجموعة msnbot، ثم «*» إن غابت. ويراعي Crawl-delay. |
| Applebot | Apple | Siri وSpotlight وSafari | إذا لم توجد مجموعة خاصة به، يتبع مجموعة Googlebot. |
| DuckDuckBot | DuckDuckGo | فهرس DuckDuckGo الخاص | إذا لم توجد مجموعة خاصة به، تسري «*». |
| YandexBot | Yandex | البحث في Yandex | إذا لم توجد مجموعة خاصة به، يتبع مجموعة Yandex. ولا تأثير لـ Crawl-delay منذ فبراير 2018. |
| Storebot-Google | Google Shopping | لا يوثّق Google مجموعة بديلة. يستخدم الفاحص «*» وفق RFC 9309. | |
| AdsBot-Google | يفحص صفحات الوصول لحملات Google Ads. | يتجاوز المجموعة «*». ولحظره، لا بد من مجموعة خاصة به. | |
| Mediapartners-Google | AdSense وAd Manager | يتجاوز المجموعة «*». ولحظره، لا بد من مجموعة خاصة به. |
تضاف إليها 24 تسمية لزواحف شركات الذكاء الاصطناعي، منها GPTBot وOAI-SearchBot وChatGPT-User وClaudeBot وClaude-SearchBot وClaude-User. منذ عام 2023 تزداد المواقع التي تحظر هذه الشركات بأساليب مختلفة، وكثيراً ما تتعارض شروط الاستخدام مع robots.txt Longpre وآخرون، 2024. أظهر قياس شمل نحو 4 ملايين نطاق أن robots.txt ما زال الأداة الرئيسية لذلك، وأن تقييد وكلاء الذكاء الاصطناعي فيه يتم عادةً عبر Disallow Hoffmann وآخرون، 2026. تشرح أداة فحص زواحف الذكاء الاصطناعي لماذا يقرأ كل زاحف الصفحات، وتجلب أيضاً ملف robots.txt الفعلي لموقعكم.
05 / أداة الإنشاء
أنشئوا ملف robots.txt لحالات شائعة
غالباً ما يريد من يحتاج إلى robots.txt إعداد الملف دون تعلّم المصطلحات المتخصصة. في استطلاع شمل 203 فنانين، أراد كثيرون الملف، لكنهم كثيراً ما افتقروا إلى المعرفة اللازمة أو إلى إمكانية إدارة موقعهم Liu وآخرون، 2025. لذلك تسألكم أداة الإنشاء عمّا تريدون السماح للزواحف بقراءته، وتكتب سطور Allow وDisallow بسيطة. ينقل زر «الفحص في الأداة» النص إلى الفاحص أعلاه.
أداة الإنشاء · robots.txt لحالات شائعة
ينظم robots.txt الزحف فقط. الملف متاح للجميع، لذا لا يحمي البيانات. ولا يزيل صفحةً من فهرس Google. فقد يظهر عنوان محظور في النتائج دون وصف إذا ربطت به صفحات أخرى.
تعمل أداة الإنشاء داخل المتصفح ولا ترسل أي بيانات. ضعوا الملف باسم robots.txt في المجلد الرئيسي. لكل نطاق فرعي ملف مستقل.
إضافة سطر Sitemap مفيدة في معظم الحالات. يكمل تتبع الروابط وخريطة الموقع أحدهما الآخر. وفي دراسة تناولت مليارات العناوين لدى Google، ساعدت الخريطة على اكتشاف المحتوى الجديد والصفحات بلا روابط واردة بسرعة أكبر Schonfeld وShivakumar، 2009. يحتاج السطر إلى العنوان الكامل، ويسري على كل المجموعات.
06 / الحدود
ما لا يفعله robots.txt
- لا يزيل الملف الصفحات من الفهرس. بحسب Google، لا يُستخدم robots.txt لمنع ظهور الصفحة في نتائج Google. فإذا أشارت صفحات أخرى إلى عنوان محظور، فقد يظهر في النتائج دون وصف. تُزال الصفحة بـ noindex، ولا يرى Google هذا التوجيه إلا إذا سُمح له بقراءة الصفحة.
- لا يوفر حماية. الملف عام ويسرد المسارات المحظورة. وتنص مواصفة RFC صراحة على أنه لا يغني عن التحكم في الوصول. يقرر مشغّل كل زاحف ما إذا كان سيلتزم به Thelwall وStuart، 2006. احموا المعلومات السرية بكلمة مرور.
- الالتزام به طوعي. وصفت الدراسات الواسعة الأولى الملف بأنه مجموعة قواعد تلتزم بها الزواحف التي تحترمها، دون وسيلة لفرضها Sun وآخرون، 2007a. وفي تجارب على 130 روبوتاً معروف الاسم خلال 40 يوماً، قلّ التزام الروبوتات بالقواعد الأشد، وكثيراً ما لم تطلب زواحف البحث بالذكاء الاصطناعي الملف أصلاً Kim وآخرون، 2025.
- تعتمد القواعد على الأسماء. لا يمكن التعرف على الروبوتات بيقين. ولا تنجح أي من الطرق الشائعة بشكل موثوق في جميع الحالات Doran وGokhale، 2011. إذا استخدم الزاحف اسماً آخر، فلن تنطبق عليه القاعدة الخاصة باسمه الحقيقي.
- الحظر الملزم يُنفّذ على السيرفر. كان الحظر عبر الوكيل العكسي أكثر فاعلية من robots.txt في منع زواحف الذكاء الاصطناعي Liu وآخرون، 2025. وبعض شركات الاستضافة ومنصات بناء المواقع تمنع الزواحف قبل النظر في robots.txt. بلغت النسبة نحو 1.68 بالمئة من المواقع في نسخة من أرشيف Common Crawl Ansar وآخرون، 2025. حينها لا يفيد أي سطر Allow.
- يفحص الفاحص النص الذي تقدمونه. وللتحقق من أن السيرفر يقدّم الملف نفسه كنص مع رمز الحالة 200، استخدموا أداة فحص زواحف الذكاء الاصطناعي التي تجلبه فعلاً.
يجيب الفاحص عن سؤال أولي. ويبيّن الفحص السريع من SpotLens ما إذا كانت صفحاتكم تظهر فعلاً في Google وما الذي يعوقها إن لم تظهر. ستجدون خطوات التحقق بأنفسكم في دليل الموقع لا يظهر في Google، وكيف نساعد على تحسين ظهور المواقع في روديفيش وفوغتلاند تحت SEO. وتجدون أدوات أخرى لتحسين الظهور تحت SEO والظهور في البحث.
07 / لمساعدي الذكاء الاصطناعي
استخدام هذه الأداة من داخل مساعد ذكاء اصطناعي
المساعدات مثل Claude أو ChatGPT التي تدعم بروتوكول Model Context Protocol (MCP) تستطيع أن تستدعي حساب هذه الصفحة مباشرة بدل أن تعيد بناءه. السيرفر عام، لا يحتاج إلى تسجيل ولا يحفظ شيئاً. ويتضمن الجواب دائماً رابط هذه الصفحة وتاريخ البيانات وحدود النتيجة.
- نقطة الاتصال (Endpoint)
https://aureum-tech.com/mcp- الأداة
werkzeug_robots_txt_tester- بروتوكول النقل
- Streamable HTTP، للقراءة فقط
| الاسم | إلزامي | المعنى |
|---|---|---|
robots_txt | نعم | النص الكامل لملف robots.txt كما يظهر على /robots.txt. |
pfade | لا | حتى 50 مساراً أو عنوان URL كاملاً، مثل «/kontakt» أو «https://www.firma.de/blog?seite=2». يُحتسب من عناوين URL المسار ومعلمات الاستعلام. القيمة الافتراضية «/». |
crawler | لا | الأسماء المختصرة التي تعرّف الزواحف في ملف robots.txt، مثل Googlebot وbingbot وGPTBot. استخدموا «*» لكل زاحف بلا مجموعة خاصة. الأسماء المعروفة هي Googlebot وGooglebot-Image وbingbot وApplebot وDuckDuckBot وYandexBot وStorebot-Google وAdsBot-Google وMediapartners-Google وGPTBot وOAI-SearchBot وChatGPT-User وClaudeBot وClaude-SearchBot وClaude-User وGoogle-Extended وGoogle-Agent وPerplexityBot وPerplexity-User وApplebot-Extended وmeta-externalagent وmeta-webindexer وmeta-externalfetcher وAmazonbot وAmzn-SearchBot وAmzn-User وMistralAI-Training وMistralAI-Index وMistralAI-User وDuckAssistBot وYouBot وCCBot وBytespider و*. تُفحص الأسماء الأخرى وفق RFC 9309. عند عدم تحديد أسماء، تُستخدم Googlebot وbingbot وGPTBot وClaudeBot و*. |
أسئلة يُفترض أن يستدعي المساعد الأداة عندها
- «هل يسمح ملف robots.txt هذا لـ Googlebot بجلب /wp-admin/admin-ajax.php؟»
- «لماذا لا ينطبق الحظر في „User-agent: *“ على GPTBot؟»
- «أي سطر في ملف robots.txt يحظر https://www.firma.de/shop?sort=preis على Bingbot؟»
- «هل السطر „Disalow: /intern/“ في ملف robots.txt خطأ، وهل يقرأه Google مع ذلك؟»
كيف يتم الربط، وما الذي يمكن أن يقدمه MCP في شركتكم: تجدون ذلك في صفحة تكاملات MCP.
08 / الأسئلة الشائعة
الأسئلة الشائعة عن robots.txt
هل يزيل «Disallow» صفحةً من فهرس Google؟
لا. يمنع Disallow جلب الصفحة فقط. إذا احتوت صفحات أخرى على روابط إليها، فقد يُدرجها Google في النتائج من دون وصف. لإخفائها، يجب أن يتمكن Google من قراءتها والعثور على noindex في وسم meta أو في X-Robots-Tag. ويمكن بدلاً من ذلك أن ترجع الصفحة رمز 404 أو 410 أو تُحمى بكلمة مرور. الجمع بين الحظر وnoindex يعوق الإزالة لأن Google لن يرى noindex.
لماذا لا ينطبق الحظر في «User-agent: *» على Googlebot؟
لأن لـ Googlebot مجموعة خاصة به. يتبع الزاحف المجموعة التي تحمل اسمه، وإذا لم يجدها يتبع المجموعة العامة «*». لذلك يجب تكرار الحظر الموجود فيها في كل مجموعة لها اسم. تعرض الأداة المجموعة المنطبقة مع كل نتيجة.
أي قاعدة تسري عندما ينطبق Allow وDisallow على المسار نفسه؟
تسري القاعدة الأطول بعدد المحارف. وإذا تساوى الطول، تسري Allow. ترتيب القواعد في الملف لا يؤثر. مثلاً، مع «Disallow: /shop/» و«Allow: /shop/angebote/»، يبقى /shop/angebote/ متاحاً ويُحظر باقي المتجر.
متى يظهر أثر تعديل robots.txt في Google؟
يحتفظ Google بالملف عادة لمدة تصل إلى 24 ساعة، وقد تطول المدة إذا تعذّر تحديثه. وتظل القواعد السابقة سارية إلى أن يُحدّث الملف. افحصوا التعديل هنا قبل رفعه.
هل يحمي ملف robots.txt الأقسام السرية؟
لا. الملف عام ويمكن لأيٍّ كان الوصول إليه، بل إنه يكشف المسارات المحظورة. توضح المواصفة أنه لا يغني عن التحكم في الوصول. احموا المعلومات السرية بتسجيل الدخول أو بكلمة مرور على السيرفر.
هل يراعي Google توجيهي Crawl-delay أو Noindex في robots.txt؟
لا. يقرأ Google فقط user-agent وallow وdisallow وsitemap. ولا تأثير لـ Noindex وnofollow وcrawl-delay في robots.txt على Google منذ 1 سبتمبر 2019. يراعي Bing توجيه Crawl-delay، ولا يراعيه Applebot. وتوقف Yandex عن مراعاته في فبراير 2018. يميّز الفاحص هذه السطور.
ما حدود فاحص robots.txt؟
يفحص النص الذي تلصقونه وفق RFC 9309 والخصائص الموثقة لكل زاحف. وللتحقق من أن السيرفر يقدّم هذا الملف فعلاً، تجلب أداة فحص زواحف الذكاء الاصطناعي الملف من الموقع. ويُظهر الفحص السريع من SpotLens هل صفحاتكم مفهرسة وما الذي يعوق الفهرسة إن لم تكن كذلك. يمكننا عند الطلب إصلاح ما يحول دون ظهور الصفحات في Google.
09 / الدراسات والمصادر
على ماذا تستند الأداة
تستند القيم الإرشادية والملاحظات أعلاه إلى هذه الدراسات العلمية الـ 13. تحققنا من كل دراسة عبر معرّف DOI أو صفحة الناشر (آخر مراجعة في 14 نوفمبر 2026) للتأكد من وجودها وأنها لم تُسحب، وأن نتائجها ما زالت تفيد في الإجابة عن السؤال اليوم.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), ص. 1123–1124
النتيجة تُظهر خمس دراسات متتالية شملت 7,593 موقعاً أن استخدام robots.txt يزداد. فالملف لا يفرض قواعده على أحد، وإنما تلتزم به الزواحف التي تحترمها.
في الأداة تدعم التحذير فوق كل نتيجة. الالتزام بما في robots.txt طوعي ولا يحل محل الحماية.
doi.org/10.1145/1242572.1242726 · ورقة مؤتمر
Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), ص. 149–155
النتيجة في 2,925 ملف robots.txt، حصلت زواحف محركات البحث الكبرى على معاملة تفضيلية غالباً بفضل مجموعات خاصة. وكان التفضيل يرتبط ارتباطاً وثيقاً بالحصة السوقية.
في الأداة لهذا يقارن الفاحص عدة زواحف جنباً إلى جنب، ويحدد المجموعة المنطبقة على كل منها. وتنشأ الفروق من المجموعات ذات الأسماء.
doi.org/10.1109/WI.2007.98 · ورقة مؤتمر
Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), ص. 1171–1172
النتيجة لم تكشف دراسة شملت نحو 6 ملايين موقع عن تفضيل يُذكر لمحرك بحث معين، على خلاف الدراسة الأصغر من عام 2007.
في الأداة يوضح النص أن نتائج قياس التفضيل تختلف بحسب العينة. لذلك يعرض الفاحص المجموعة المنطبقة على كل زاحف دون الحكم عليها.
doi.org/10.1145/1367497.1367711 · ورقة مؤتمر
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), ص. 1101–1102
النتيجة تصرفت معظم الزواحف التجارية وفق القواعد، لكن كثيراً منها خالف أو أساء فهم بعض قواعد robots.txt مراراً.
في الأداة لهذا ينبه الفاحص إلى الأسطر التي تختلف الزواحف في تفسيرها، وتكتب أداة الإنشاء سطور Allow وDisallow بسيطة.
doi.org/10.1145/1772690.1772824 · ورقة مؤتمر
Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), ص. 668–675
النتيجة قاس الباحثون سلوك زواحف عديدة على صفحات اختبار تحمل كل منها قاعدة مختلفة في robots.txt. تفاوت مدى الالتزام تفاوتاً كبيراً، وخالفت زواحف تجارية كثيرة قواعد معينة بانتظام.
في الأداة تبيّن هذه الدراسة حدود الفحص. يوضح سجل السيرفر مدى التزام الزاحف فعلاً، وهو ما لا يستطيع الفاحص رصده.
doi.org/10.1109/WI-IAT.2010.316 · ورقة مؤتمر
Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), ص. 1771–1779
النتيجة تصنّف الدراسة آثار الزحف على مشغّلي المواقع بحسب التكلفة والخصوصية والضغط على السيرفر. وعلى مشغّل الزاحف أن يقيّم في كل حالة ما إذا كان الزحف مقبولاً.
في الأداة توضح الدراسة لماذا يوصي الفاحص بحماية الأقسام السرية بكلمة مرور، بدلاً من الاكتفاء بسطر Disallow.
doi.org/10.1002/asi.20388 · مجلة علمية
Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), ص. 991–1000
النتيجة قارنت الدراسة تتبع الروابط بخرائط الموقع على مليارات العناوين لدى Google. وتبيّن أن الطريقتين تتكاملان، إذ تساعد خرائط الموقع على اكتشاف الصفحات بلا روابط واردة والمحتوى الجديد بسرعة أكبر.
في الأداة لهذا يعرض الفاحص سطور Sitemap في قسم خاص ويتحقق من أن كل سطر يضم عنواناً كاملاً. وتستطيع أداة الإنشاء أيضاً إضافة سطر Sitemap.
doi.org/10.1145/1526709.1526842 · ورقة مؤتمر
Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), ص. 183–210
النتيجة تبيّن من مقارنة طرق اكتشاف الروبوتات الشائعة أن أياً منها لا يعمل بصورة موثوقة في جميع الحالات. بعض الروبوتات يتصرف بشكل ضار أو يثقل كاهل السيرفر.
في الأداة تدعم الدراسة هذا القيد. لا يمكن التعرف على الروبوتات بيقين، ولا تعمل القاعدة إلا مع الزواحف التي تستخدم اسمها الحقيقي وتلتزم بها.
doi.org/10.1007/s10618-010-0180-z · دراسة مراجعة
Kim, T.; Bock, K.; Luo, C. وآخرون (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), ص. 541–557
النتيجة في تجارب مضبوطة شملت 130 روبوتاً معروف الاسم على مدى 40 يوماً، كان الالتزام بالقواعد الأشد أقل. وكثيراً ما لم تطلب زواحف البحث بالذكاء الاصطناعي ملف robots.txt أصلاً.
في الأداة لهذا يظهر مع كل نتيجة «محظور» تنبيه إلى أن الالتزام بالحظر طوعي. وعند اختيار «حظر الكل» في أداة الإنشاء، نوصي بإعداد حماية فعلية على السيرفر.
doi.org/10.1145/3730567.3764471 · ورقة مؤتمر
Longpre, S.; Mahari, R.; Lee, A. وآخرون (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. التقدم في أنظمة معالجة المعلومات العصبية 37 (NeurIPS 2024)، ص. 108042–108087
النتيجة وجدت مراجعة لـ 14,000 نطاق ضمن بيانات تدريب الذكاء الاصطناعي زيادة قوية في عمليات الحظر خلال سنة، وفروقاً كبيرة بين مزوّدي الذكاء الاصطناعي، وتعارضات متكررة بين شروط الاستخدام وrobots.txt.
في الأداة لهذا يمكن اختيار كل زاحف ذكاء اصطناعي على حدة. ولتحديد ما إذا كان ينبغي إتاحة التدريب، يحيل الفاحص إلى أداة فحص زواحف الذكاء الاصطناعي.
doi.org/10.52202/079017-3431 · ورقة مؤتمر
Liu, E.; Luo, E.; Shan, S. وآخرون (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. وقائع مؤتمر ACM لقياس الإنترنت لعام 2025 (IMC 2025)، ص. 78–99
النتيجة أظهرت القياسات واستطلاع شمل 203 فنانين حاجةً كبيرة إلى robots.txt، مع عقبات تتعلق بالخبرة الفنية وبإمكانية إدارة مواقعهم. وكان الحظر عبر الوكيل العكسي أكثر فاعلية.
في الأداة لهذا تتولى أداة الإنشاء الحالات الشائعة دون مصطلحات متخصصة، وتوصي بإشراك شركة الاستضافة إذا أردتم فرض الحظر.
doi.org/10.1145/3730567.3732913 · ورقة مؤتمر
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), ص. 29–41
النتيجة أظهر قياس لنحو 4 ملايين نطاق أن robots.txt ما زال الأداة الرئيسية للسماح للزواحف بالوصول أو حظره. وغالباً ما يُقيّد وصول وكلاء الذكاء الاصطناعي بسطور Disallow.
في الأداة لهذا يركز الفاحص على robots.txt ويتعامل مع أسماء زواحف الذكاء الاصطناعي كما يتعامل مع زواحف محركات البحث.
doi.org/10.1145/3831956.3831960 · مجلة علمية
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. القياس السلبي والنشط (PAM 2025)، Lecture Notes in Computer Science، ص. 197–214
النتيجة رفض نحو 1.68 بالمئة من المواقع في نسخة من Common Crawl الزاحف صراحةً، وغالباً عبر شركات استضافة كبيرة ومزوّدي إنشاء المواقع، من الحظر حتى صفحة التحقق.
في الأداة لهذا لا يفيد السماح في robots.txt إذا كانت شركة الاستضافة أو خدمة الحماية من الروبوتات تمنع الزاحف مسبقاً.
doi.org/10.1007/978-3-031-85960-1_9 · ورقة مؤتمر
معايير وجهات رسمية وبيانات الشركات المصنِّعة
- RFC 9309: بروتوكول استبعاد الروبوتات · IETF، أيلول/سبتمبر 2022
- How Google interprets the robots.txt specification · Google Search Central، بتاريخ 23 أكتوبر 2026
- Introduction to robots.txt · Google Search Central
- Block Search indexing with noindex · Google Search Central
- A note on unsupported rules in robots.txt · Google Search Central Blog، بتاريخ 2 يوليو 2019
- Google common crawlers · Google Search Central
- Google special-case crawlers (AdsBot, Mediapartners) · Google Search Central
- google/robotstxt: محلّل robots.txt من Google (أخطاء الكتابة، Googlebot-Image) · Google، GitHub
- To crawl or not to crawl, that is BingBot’s question · Bing Webmaster Blog، بتاريخ 3 مايو 2012
- عن Applebot · Apple، آخر تحديث 4 أيلول/سبتمبر 2026
- DuckDuckBot · DuckDuckGo
- The User-agent directive · Yandex Webmaster
- The Crawl-delay directive · Yandex Webmaster
- WordPress: do_robots() في wp-includes/functions.php · WordPress، GitHub
10 / أدوات أخرى
بقي عندكم سؤال؟
- AT-W42 · للشركات
معاينة نتيجة البحث (Snippet)
كيف تظهر صفحتكم في Google؟ العنوان والوصف مع عرضهما بالبكسل، للكمبيوتر والموبايل. - AT-W43 · للشركات
مولّد Schema
بيانات منظَّمة لمحلكم أو شركتكم: LocalBusiness وأوقات الدوام والأسئلة المتكررة (FAQ) بصيغة JSON-LD جاهزة للإدراج. - AT-W44 · للشركات
فحص الملف التجاري على Google
هل ملفكم التجاري على Google مكتمل؟ نعرض ما ينقصه مرتَّباً حسب أثره. - AT-W45 · للشركات
فحص NAP
هل الاسم والعنوان ورقم الهاتف مكتوبة بالشكل نفسه في كل مكان؟ قارنوا بياناتكم في الأدلة التجارية. - AT-W46 · للشركات
فارز الكلمات المفتاحية
أي كلمات البحث تنتمي إلى بعضها، وماذا يريد من يبحث؟ قوائم مرتَّبة حسب الموضوع وهدف البحث. - AT-W47 · للأفراد والشركات
فحص سهولة القراءة
هل نصكم سهل الفهم؟ مؤشر سهولة القراءة للنصوص الألمانية، مع تمييز الجمل الطويلة والكلمات الصعبة.
أرسلوا لنا النتيجة المنسوخة. نفحص robots.txt وخريطة موقعكم ونعالج ما يمنع ظهور الصفحات في Google، في روديفيش ومنطقة فوغتلاند كلها.
+49 3744 4399760[email protected]الاثنين–الجمعة، 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch