الأداة AT-W48REV.‎ 2026-A

فاحص robots.txt: هل يُسمح لـ Googlebot بقراءة هذه الصفحة؟

يحدد سطر واحد في robots.txt هل يمكن لـ Googlebot جلب الصفحة: أطول قاعدة مطابقة في المجموعة المنطبقة على هذا الزاحف. ألصقوا ملفكم وأدخلوا المسارات أو العناوين الكاملة. تُظهر الأداة لكل من Googlebot وBingbot وGPTBot وزواحف أخرى هل المسار مسموح أم محظور وأي سطر حسم ذلك. وتنبه إلى الحالات التي يقرأها Google على نحو يخالف المواصفة.

  • مجاني
  • دون تسجيل
  • يبقى النص في المتصفح

ألصقوا robots.txt وافحصوا كل مسار على حدة

الفاحص · robots.txt وفق RFC 9309

تُحلّل القواعد وفق RFC 9309 والخصائص الموثقة للزواحف. ويقرر مشغّل كل زاحف ما إذا كان سيلتزم بها.

افتحوا ihre-firma.de/robots.txt في المتصفح وانسخوا النص كله. يمكن جلب الملف عبر أداة فحص زواحف الذكاء الاصطناعي.

حتى 50. إذا أدخلتم عنواناً كاملاً، يُحتسب المسار والمعلمات، مثل /shop?sort=preis.‎

ما الزواحف المراد فحصها؟
محركات البحث · 6
زواحف Google الأخرى · 3
زواحف الذكاء الاصطناعي · 24

اكتبوا الاسم الذي يحدده مشغّل الزاحف لملف robots.txt (رمز المنتج)، من دون معرّف المتصفح الكامل.

يعمل الفاحص في المتصفح. يبقى النص والعناوين على جهازكم.

النتيجة

ألصقوا ملف robots.txt وأدخلوا المسارات. يمكنكم تجربة الأداة على مثال جاهز.

كيف يقرر الزاحف ما إذا كان سيجلب صفحة

تنظم RFC 9309 هذه الآلية منذ سبتمبر 2022. وقبل ذلك كانت اتفاقاً يعود إلى عام 1994، وكانت الزواحف الرئيسية تلتزم به بدرجات متفاوتة Sun وآخرون، 2010. يطبق الفاحص المواصفة بالترتيب الآتي.

  1. الملف. يوجد في المجلد الرئيسي على المسار /robots.txt.‎ ولا يسري إلا على المضيف نفسه مع البروتوكول والمنفذ نفسيهما. لا يسري ملف ihre-firma.de على www.ihre-firma.de ولا على shop.ihre-firma.de.‎
  2. المجموعة. يبحث الزاحف عن المجموعة التي تحمل اسمه دون التفريق بين الأحرف الكبيرة والصغيرة. تُدمج المجموعات التي تحمل الاسم نفسه. إن لم يجد مجموعة باسمه، تسري «User-agent: *». وإن غابت أيضاً، فكل المسارات مسموحة.
  3. القاعدة. تسري أطول قاعدة Allow أو Disallow تطابق بداية المسار في المجموعة. وعند تساوي الطول تسري Allow.‎ ترتيب السطور لا يؤثر.
  4. المحارف. تمثّل النجمة أي عدد من المحارف، وتحدد علامة الدولار في النهاية نهاية العنوان. ويؤثر فرق الأحرف الكبيرة والصغيرة في المسار. يقارن الزاحف الأحرف ذات العلامات بترميز النسبة المئوية، لذا يتطابق «/über» مع «/%C3%BCber».
  5. الاستثناء. يُتاح جلب ملف robots.txt نفسه للجميع، وتسري سطور Sitemap بصرف النظر عن المجموعات.
أي مجموعة تسري؟الزاحف/robots.txtالمجموعة الخاصةالمجموعةوإلا المجموعة*وإلا الكلمسموحأي قاعدة تسري؟المسارالقواعد المطابقةالأطولتسري، وعندالتساوي: Allowمسموح أومحميةأي مجموعة تسري؟الزاحف/robots.txtالمجموعة الخاصةوإلا المجموعة *وإلا فالكل مسموحأي قاعدة تسري؟المسارالقواعد المطابقةالأطول، وعند التساويالتساوي: Allowمسموح أو محظور
الشكل 1 · كيف يقرأ الزاحف ملف robots.txtالذهبي يشير إلى ملفكم · سؤالان متتاليان

ما الذي يطابقه النمط؟

أمثلة حُسبت بالدالة نفسها التي يستخدمها الفاحص
النمطيطابقلا يطابق
/fisch/fisch, /fisch.html, /fischkopf/rezept/Fisch, /katalog/fisch
/fisch//fisch/, /fisch/?sorte=lachs/fisch, /fisch.html
/*.php/index.php, /ordner/seite.php?id=1/, /seite.PHP
/*.php$/seite.php/seite.php?id=1, /seite.php5
/*?s=/?s=preise, /blog/?s=test/blog/?seite=2

تبدأ المقارنة دائماً من أول المسار، لذلك لا يطابق /fisch المسار /katalog/fisch.‎ للمطابقة في أي موضع، ضعوا نجمة في بداية النمط.

تسري القاعدة الأطول

تحظر المجموعة في المثال المتجر وتستثني العروض. للمسار /shop/angebote/herbst تظهر نتيجة السماح بسبب السطر 3، «Allow: /shop/angebote/»، في المجموعة «User-agent: *». يبلغ طول هذه القاعدة 15 محرفاً، وهي أطول القواعد المطابقة، وعددها 2. أما /shop/kasse فمحظور لأن القاعدة الأقصر وحدها تطابقه.

خالفت زواحف تجارية قواعدَ معينة أو أساءت فهمها مراراً على مدى سنوات Giles وآخرون، 2010. وضحت المواصفة طريقة تحديد النتيجة، لكن بعض الزواحف لا يلتزم بها. لذلك تنبّه الأداة إلى السطور التي تختلف الزواحف في تفسيرها.

User-agent: *
Disallow: /shop/
Allow: /shop/angebote/

أكثر فخ شائع: المجموعات لا ترث شيئاً

عندما تكون للزاحف مجموعة خاصة به، لا يسري عليه أي جزء من المجموعة العامة. في المثال يُراد حظر /intern/ على الجميع، لكن لـ Googlebot مجموعة خاصة بالمسودات. نتيجة /intern/preise هي الحظر لـ Bingbot والسماح لـ Googlebot.‎ لذلك ضعوا ما تريدون تطبيقه على الجميع في كل مجموعة تحمل اسماً.

المجموعات ذات الأسماء شائعة. في دراسة مبكرة شملت 2,925 ملف robots.txt، أُتيح لمحركات البحث الكبيرة في معظم الحالات وصول أوسع عبر مجموعات خاصة بها Sun وآخرون، 2007b. وفي دراسة لاحقة شملت نحو 6 ملايين موقع، لم يظهر تفضيل يُذكر Kolay وآخرون، 2008. وسواء كان ذلك مقصوداً أم لا، تعرض الأداة المجموعة المنطبقة على كل زاحف تختارونه. وتُظهر النظرة العامة الزواحف التي تنطبق عليها كل مجموعة.

User-agent: *
Disallow: /intern/

User-agent: Googlebot
Disallow: /entwurf/

أين يختلف تفسير Google لملف robots.txt عن المواصفة؟

شارك Google في إعداد RFC ويلتزم بأساسياته. محلّل Google يتساهل في بعض المواضع ويتشدد في أخرى. وتوضح وثائقه ما لم يحدده RFC.‎ تعمل الأداة وفق RFC وتنبّه إلى كل موضع اختلاف، لتتمكنوا من إعداد ملف يعمل بالطريقة نفسها مع الزواحف المختلفة.

مقارنة RFC 9309 وGoogle وفق وثائق Google بتاريخ 23 أكتوبر 2026
البندRFC 9309Google
حجم الملفقراءة ما لا يقل عن 500 KiBقراءة 500 KiB على الأكثر وتجاهل ما بعدها
التخزين المؤقت24 ساعة على الأكثر، إلا إذا تعذّر الوصول إلى الملفعادة حتى 24 ساعة، ولمدة أطول إذا تعذّر التحديث
إعادة توجيهيتبع خمس عمليات إعادة توجيه على الأقلخمس عمليات إعادة توجيه على الأقل، ثم مثل 404
404 وغيرها من 4xxلا يوجد robots.txt، وكل شيء مسموحالمعاملة نفسها باستثناء 429
5xx أو غير قابل للوصولتُحظر جميع المسارات. بعد مدة أطول (مثلاً 30 يوماً)، يُعامل الملف على أنه غائب أو تُستخدم النسخة المخزنة.يتوقف الزحف 12 ساعة، ثم تُستخدم آخر نسخة سليمة مدة تصل إلى 30 يوماً (لا قيود إن لم توجد). بعدها يُعامل الموقف كأن الملف غائب إذا ظل الوصول إلى الموقع ممكناً.
التوجيهاتuser-agent وallow وdisallow.‎ ويمكن للزاحف تفسير سطور أخرى مثل sitemap.‎فقط user-agent وallow وdisallow وsitemap.‎ لا تأثير لـ noindex وnofollow وcrawl-delay منذ 1 سبتمبر 2019.
أخطاء الكتابة وغياب النقطتينيُتجاهل السطرمع ذلك يقرأ محلّل Google بعض الأخطاء الكتابية مثل «Disalow»، وبعض السطور الخالية من النقطتين.
اسم مع إضافةلا تتكوّن الأسماء إلا من الأحرف وعلامتي - و_يُعامل «googlebot/1.2» و«googlebot*» معاملة «googlebot».
أحرف ذات علامات ومحارف خاصةتُرمّز بترميز النسبة المئوية قبل المقارنةتجري المقارنة بترميز النسبة المئوية
خريطة الموقعيمكن للزاحف تفسيرها.عنوان كامل يتضمن البروتوكول والمضيف، ويمكن أن تكون على مضيف آخر.

المصادر هي RFC 9309 ووثائق Google عن robots.txt (23 أكتوبر 2026) ومدونة Google بتاريخ 2 يوليو 2019 ومحلّل Google. تم التحقق منها في 14 نوفمبر 2026.

لمحركات البحث الأخرى خصائصها. يراعي Bing توجيه Crawl-delay ويقرأ المجموعة msnbot إذا لم توجد مجموعة خاصة باسم bingbot.‎ لا يراعي Yandex توجيه Crawl-delay منذ 22 فبراير 2018، وله مجموعة «User-agent: Yandex» لكل زواحفه. ويتبع زاحف Apple مجموعة Googlebot إذا لم يجد مجموعة خاصة به. أما زواحف الإعلانات لدى Google فتتجاوز المجموعة العامة كلياً. يوضح الجدول أدناه ما تراعيه الأداة من هذه الخصائص.

ما الأسماء التي تُكتب في robots.txt؟

اكتبوا في سطر User-agent رمز المنتج، أي الاسم المختصر الذي يذكره مشغّل الزاحف في وثائقه لملف robots.txt، مثل «Googlebot». أما المعرّف الكامل الذي يظهر في سجل السيرفر فلا يُكتب هنا. تضم قائمة الفاحص الأسماء التي وثّقها مشغّلوها، ولا تراعي من السلوك الخاص إلا ما ذكروه في وثائقهم.

محركات البحث وزواحف Google وفق وثائق المشغلين، التي راجعناها في 14 نوفمبر 2026
الاسم في robots.txtالمشغّلالغرضالخاصية
GooglebotGoogleالبحث في Google، بما فيه الملخصات بالذكاء الاصطناعيإذا لم توجد مجموعة خاصة به، تسري «*».
Googlebot-ImageGoogleصور Googleإذا لم توجد مجموعة خاصة به، يتبع مجموعة Googlebot.‎
bingbotMicrosoftBing وCopilotإذا لم توجد مجموعة خاصة به، يتبع مجموعة msnbot، ثم «*» إن غابت. ويراعي Crawl-delay.‎
ApplebotAppleSiri وSpotlight وSafariإذا لم توجد مجموعة خاصة به، يتبع مجموعة Googlebot.‎
DuckDuckBotDuckDuckGoفهرس DuckDuckGo الخاصإذا لم توجد مجموعة خاصة به، تسري «*».
YandexBotYandexالبحث في Yandexإذا لم توجد مجموعة خاصة به، يتبع مجموعة Yandex.‎ ولا تأثير لـ Crawl-delay منذ فبراير 2018.
Storebot-GoogleGoogleGoogle Shoppingلا يوثّق Google مجموعة بديلة. يستخدم الفاحص «*» وفق RFC 9309.
AdsBot-GoogleGoogleيفحص صفحات الوصول لحملات Google Ads.‎يتجاوز المجموعة «*». ولحظره، لا بد من مجموعة خاصة به.
Mediapartners-GoogleGoogleAdSense وAd Managerيتجاوز المجموعة «*». ولحظره، لا بد من مجموعة خاصة به.

تضاف إليها 24 تسمية لزواحف شركات الذكاء الاصطناعي، منها GPTBot وOAI-SearchBot وChatGPT-User وClaudeBot وClaude-SearchBot وClaude-User.‎ منذ عام 2023 تزداد المواقع التي تحظر هذه الشركات بأساليب مختلفة، وكثيراً ما تتعارض شروط الاستخدام مع robots.txt Longpre وآخرون، 2024. أظهر قياس شمل نحو 4 ملايين نطاق أن robots.txt ما زال الأداة الرئيسية لذلك، وأن تقييد وكلاء الذكاء الاصطناعي فيه يتم عادةً عبر Disallow Hoffmann وآخرون، 2026. تشرح أداة فحص زواحف الذكاء الاصطناعي لماذا يقرأ كل زاحف الصفحات، وتجلب أيضاً ملف robots.txt الفعلي لموقعكم.

أنشئوا ملف robots.txt لحالات شائعة

غالباً ما يريد من يحتاج إلى robots.txt إعداد الملف دون تعلّم المصطلحات المتخصصة. في استطلاع شمل 203 فنانين، أراد كثيرون الملف، لكنهم كثيراً ما افتقروا إلى المعرفة اللازمة أو إلى إمكانية إدارة موقعهم Liu وآخرون، 2025. لذلك تسألكم أداة الإنشاء عمّا تريدون السماح للزواحف بقراءته، وتكتب سطور Allow وDisallow بسيطة. ينقل زر «الفحص في الأداة» النص إلى الفاحص أعلاه.

أداة الإنشاء · robots.txt لحالات شائعة

ينظم robots.txt الزحف فقط. الملف متاح للجميع، لذا لا يحمي البيانات. ولا يزيل صفحةً من فهرس Google.‎ فقد يظهر عنوان محظور في النتائج دون وصف إذا ربطت به صفحات أخرى.

ما الذي يُسمح للزواحف بقراءته؟
ما الأقسام المطلوب حظرها؟

تجعل الشرطة المائلة في النهاية الحظر مقتصراً على المجلد. فبدونها يطابق /intern المسار /internes-handbuch أيضاً.

سطران لكل اسم، أحدهما لـ ‎?name= والآخر لـ ‎&name=. هكذا تطابق «sort» المعلمة المطلوبة دون «resort».

أدرجوا https:// واسم النطاق، وإلا فلن يُضاف السطر.

# robots.txt, erstellt mit dem robots.txt-Tester von aureum-tech.com (Stand 14. November 2026)
# Regelt nur das Crawlen. Schützt keine Daten und nimmt keine Seite aus dem Google-Index.
User-agent: *
Disallow:

تعمل أداة الإنشاء داخل المتصفح ولا ترسل أي بيانات. ضعوا الملف باسم robots.txt في المجلد الرئيسي. لكل نطاق فرعي ملف مستقل.

إضافة سطر Sitemap مفيدة في معظم الحالات. يكمل تتبع الروابط وخريطة الموقع أحدهما الآخر. وفي دراسة تناولت مليارات العناوين لدى Google، ساعدت الخريطة على اكتشاف المحتوى الجديد والصفحات بلا روابط واردة بسرعة أكبر Schonfeld وShivakumar، 2009. يحتاج السطر إلى العنوان الكامل، ويسري على كل المجموعات.

ما لا يفعله robots.txt

  • لا يزيل الملف الصفحات من الفهرس. بحسب Google، لا يُستخدم robots.txt لمنع ظهور الصفحة في نتائج Google.‎ فإذا أشارت صفحات أخرى إلى عنوان محظور، فقد يظهر في النتائج دون وصف. تُزال الصفحة بـ noindex، ولا يرى Google هذا التوجيه إلا إذا سُمح له بقراءة الصفحة.
  • لا يوفر حماية. الملف عام ويسرد المسارات المحظورة. وتنص مواصفة RFC صراحة على أنه لا يغني عن التحكم في الوصول. يقرر مشغّل كل زاحف ما إذا كان سيلتزم به Thelwall وStuart، 2006. احموا المعلومات السرية بكلمة مرور.
  • الالتزام به طوعي. وصفت الدراسات الواسعة الأولى الملف بأنه مجموعة قواعد تلتزم بها الزواحف التي تحترمها، دون وسيلة لفرضها Sun وآخرون، 2007a. وفي تجارب على 130 روبوتاً معروف الاسم خلال 40 يوماً، قلّ التزام الروبوتات بالقواعد الأشد، وكثيراً ما لم تطلب زواحف البحث بالذكاء الاصطناعي الملف أصلاً Kim وآخرون، 2025.
  • تعتمد القواعد على الأسماء. لا يمكن التعرف على الروبوتات بيقين. ولا تنجح أي من الطرق الشائعة بشكل موثوق في جميع الحالات Doran وGokhale، 2011. إذا استخدم الزاحف اسماً آخر، فلن تنطبق عليه القاعدة الخاصة باسمه الحقيقي.
  • الحظر الملزم يُنفّذ على السيرفر. كان الحظر عبر الوكيل العكسي أكثر فاعلية من robots.txt في منع زواحف الذكاء الاصطناعي Liu وآخرون، 2025. وبعض شركات الاستضافة ومنصات بناء المواقع تمنع الزواحف قبل النظر في robots.txt.‎ بلغت النسبة نحو 1.68 بالمئة من المواقع في نسخة من أرشيف Common Crawl Ansar وآخرون، 2025. حينها لا يفيد أي سطر Allow.‎
  • يفحص الفاحص النص الذي تقدمونه. وللتحقق من أن السيرفر يقدّم الملف نفسه كنص مع رمز الحالة 200، استخدموا أداة فحص زواحف الذكاء الاصطناعي التي تجلبه فعلاً.

يجيب الفاحص عن سؤال أولي. ويبيّن الفحص السريع من SpotLens ما إذا كانت صفحاتكم تظهر فعلاً في Google وما الذي يعوقها إن لم تظهر. ستجدون خطوات التحقق بأنفسكم في دليل الموقع لا يظهر في Google، وكيف نساعد على تحسين ظهور المواقع في روديفيش وفوغتلاند تحت SEO. وتجدون أدوات أخرى لتحسين الظهور تحت SEO والظهور في البحث.

استخدام هذه الأداة من داخل مساعد ذكاء اصطناعي

المساعدات مثل Claude أو ChatGPT التي تدعم بروتوكول Model Context Protocol (MCP) تستطيع أن تستدعي حساب هذه الصفحة مباشرة بدل أن تعيد بناءه. السيرفر عام، لا يحتاج إلى تسجيل ولا يحفظ شيئاً. ويتضمن الجواب دائماً رابط هذه الصفحة وتاريخ البيانات وحدود النتيجة.

نقطة الاتصال (Endpoint)
https://aureum-tech.com/mcp
الأداة
werkzeug_robots_txt_tester
بروتوكول النقل
Streamable HTTP، للقراءة فقط
المدخلات
الاسمإلزاميالمعنى
robots_txtنعمالنص الكامل لملف robots.txt كما يظهر على /robots.txt.‎
pfadeلاحتى 50 مساراً أو عنوان URL كاملاً، مثل «/kontakt» أو «https://www.firma.de/blog?seite=2». يُحتسب من عناوين URL المسار ومعلمات الاستعلام. القيمة الافتراضية «/».
crawlerلاالأسماء المختصرة التي تعرّف الزواحف في ملف robots.txt، مثل Googlebot وbingbot وGPTBot.‎ استخدموا «*» لكل زاحف بلا مجموعة خاصة. الأسماء المعروفة هي Googlebot وGooglebot-Image وbingbot وApplebot وDuckDuckBot وYandexBot وStorebot-Google وAdsBot-Google وMediapartners-Google وGPTBot وOAI-SearchBot وChatGPT-User وClaudeBot وClaude-SearchBot وClaude-User وGoogle-Extended وGoogle-Agent وPerplexityBot وPerplexity-User وApplebot-Extended وmeta-externalagent وmeta-webindexer وmeta-externalfetcher وAmazonbot وAmzn-SearchBot وAmzn-User وMistralAI-Training وMistralAI-Index وMistralAI-User وDuckAssistBot وYouBot وCCBot وBytespider و*. تُفحص الأسماء الأخرى وفق RFC 9309. عند عدم تحديد أسماء، تُستخدم Googlebot وbingbot وGPTBot وClaudeBot و*.

أسئلة يُفترض أن يستدعي المساعد الأداة عندها

  • «هل يسمح ملف robots.txt هذا لـ Googlebot بجلب /wp-admin/admin-ajax.php؟»
  • «لماذا لا ينطبق الحظر في „User-agent: *“ على GPTBot؟»
  • «أي سطر في ملف robots.txt يحظر https://www.firma.de/shop?sort=preis على Bingbot؟»
  • «هل السطر „Disalow: /intern/“ في ملف robots.txt خطأ، وهل يقرأه Google مع ذلك؟»

كيف يتم الربط، وما الذي يمكن أن يقدمه MCP في شركتكم: تجدون ذلك في صفحة تكاملات MCP.

الأسئلة الشائعة عن robots.txt

هل يزيل «Disallow» صفحةً من فهرس Google؟

لا. يمنع Disallow جلب الصفحة فقط. إذا احتوت صفحات أخرى على روابط إليها، فقد يُدرجها Google في النتائج من دون وصف. لإخفائها، يجب أن يتمكن Google من قراءتها والعثور على noindex في وسم meta أو في X-Robots-Tag.‎ ويمكن بدلاً من ذلك أن ترجع الصفحة رمز 404 أو 410 أو تُحمى بكلمة مرور. الجمع بين الحظر وnoindex يعوق الإزالة لأن Google لن يرى noindex.‎

لماذا لا ينطبق الحظر في «User-agent: *» على Googlebot؟

لأن لـ Googlebot مجموعة خاصة به. يتبع الزاحف المجموعة التي تحمل اسمه، وإذا لم يجدها يتبع المجموعة العامة «*». لذلك يجب تكرار الحظر الموجود فيها في كل مجموعة لها اسم. تعرض الأداة المجموعة المنطبقة مع كل نتيجة.

أي قاعدة تسري عندما ينطبق Allow وDisallow على المسار نفسه؟

تسري القاعدة الأطول بعدد المحارف. وإذا تساوى الطول، تسري Allow.‎ ترتيب القواعد في الملف لا يؤثر. مثلاً، مع «Disallow: /shop/» و«Allow: /shop/angebote/»، يبقى /shop/angebote/ متاحاً ويُحظر باقي المتجر.

متى يظهر أثر تعديل robots.txt في Google؟

يحتفظ Google بالملف عادة لمدة تصل إلى 24 ساعة، وقد تطول المدة إذا تعذّر تحديثه. وتظل القواعد السابقة سارية إلى أن يُحدّث الملف. افحصوا التعديل هنا قبل رفعه.

هل يحمي ملف robots.txt الأقسام السرية؟

لا. الملف عام ويمكن لأيٍّ كان الوصول إليه، بل إنه يكشف المسارات المحظورة. توضح المواصفة أنه لا يغني عن التحكم في الوصول. احموا المعلومات السرية بتسجيل الدخول أو بكلمة مرور على السيرفر.

هل يراعي Google توجيهي Crawl-delay أو Noindex في robots.txt؟

لا. يقرأ Google فقط user-agent وallow وdisallow وsitemap.‎ ولا تأثير لـ Noindex وnofollow وcrawl-delay في robots.txt على Google منذ 1 سبتمبر 2019. يراعي Bing توجيه Crawl-delay، ولا يراعيه Applebot.‎ وتوقف Yandex عن مراعاته في فبراير 2018. يميّز الفاحص هذه السطور.

ما حدود فاحص robots.txt؟

يفحص النص الذي تلصقونه وفق RFC 9309 والخصائص الموثقة لكل زاحف. وللتحقق من أن السيرفر يقدّم هذا الملف فعلاً، تجلب أداة فحص زواحف الذكاء الاصطناعي الملف من الموقع. ويُظهر الفحص السريع من SpotLens هل صفحاتكم مفهرسة وما الذي يعوق الفهرسة إن لم تكن كذلك. يمكننا عند الطلب إصلاح ما يحول دون ظهور الصفحات في Google.‎

على ماذا تستند الأداة

تستند القيم الإرشادية والملاحظات أعلاه إلى هذه الدراسات العلمية الـ 13. تحققنا من كل دراسة عبر معرّف DOI أو صفحة الناشر (آخر مراجعة في 14 نوفمبر 2026) للتأكد من وجودها وأنها لم تُسحب، وأن نتائجها ما زالت تفيد في الإجابة عن السؤال اليوم.

  1. Sun, Y.; Zhuang, Z.; Giles, C.‎ L.‎ (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), ص. 1123–1124

    النتيجة تُظهر خمس دراسات متتالية شملت 7,593 موقعاً أن استخدام robots.txt يزداد. فالملف لا يفرض قواعده على أحد، وإنما تلتزم به الزواحف التي تحترمها.

    في الأداة تدعم التحذير فوق كل نتيجة. الالتزام بما في robots.txt طوعي ولا يحل محل الحماية.

  2. Sun, Y.; Zhuang, Z.; Councill, I.‎ G.; Giles, C.‎ L.‎ (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), ص. 149–155

    النتيجة في 2,925 ملف robots.txt، حصلت زواحف محركات البحث الكبرى على معاملة تفضيلية غالباً بفضل مجموعات خاصة. وكان التفضيل يرتبط ارتباطاً وثيقاً بالحصة السوقية.

    في الأداة لهذا يقارن الفاحص عدة زواحف جنباً إلى جنب، ويحدد المجموعة المنطبقة على كل منها. وتنشأ الفروق من المجموعات ذات الأسماء.

  3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A.‎ (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), ص. 1171–1172

    النتيجة لم تكشف دراسة شملت نحو 6 ملايين موقع عن تفضيل يُذكر لمحرك بحث معين، على خلاف الدراسة الأصغر من عام 2007.

    في الأداة يوضح النص أن نتائج قياس التفضيل تختلف بحسب العينة. لذلك يعرض الفاحص المجموعة المنطبقة على كل زاحف دون الحكم عليها.

  4. Giles, C.‎ L.; Sun, Y.; Councill, I.‎ G.‎ (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), ص. 1101–1102

    النتيجة تصرفت معظم الزواحف التجارية وفق القواعد، لكن كثيراً منها خالف أو أساء فهم بعض قواعد robots.txt مراراً.

    في الأداة لهذا ينبه الفاحص إلى الأسطر التي تختلف الزواحف في تفسيرها، وتكتب أداة الإنشاء سطور Allow وDisallow بسيطة.

  5. Sun, Y.; Councill, I.‎ G.; Giles, C.‎ L.‎ (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), ص. 668–675

    النتيجة قاس الباحثون سلوك زواحف عديدة على صفحات اختبار تحمل كل منها قاعدة مختلفة في robots.txt.‎ تفاوت مدى الالتزام تفاوتاً كبيراً، وخالفت زواحف تجارية كثيرة قواعد معينة بانتظام.

    في الأداة تبيّن هذه الدراسة حدود الفحص. يوضح سجل السيرفر مدى التزام الزاحف فعلاً، وهو ما لا يستطيع الفاحص رصده.

  6. Thelwall, M.; Stuart, D.‎ (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), ص. 1771–1779

    النتيجة تصنّف الدراسة آثار الزحف على مشغّلي المواقع بحسب التكلفة والخصوصية والضغط على السيرفر. وعلى مشغّل الزاحف أن يقيّم في كل حالة ما إذا كان الزحف مقبولاً.

    في الأداة توضح الدراسة لماذا يوصي الفاحص بحماية الأقسام السرية بكلمة مرور، بدلاً من الاكتفاء بسطر Disallow.‎

  7. Schonfeld, U.; Shivakumar, N.‎ (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), ص. 991–1000

    النتيجة قارنت الدراسة تتبع الروابط بخرائط الموقع على مليارات العناوين لدى Google.‎ وتبيّن أن الطريقتين تتكاملان، إذ تساعد خرائط الموقع على اكتشاف الصفحات بلا روابط واردة والمحتوى الجديد بسرعة أكبر.

    في الأداة لهذا يعرض الفاحص سطور Sitemap في قسم خاص ويتحقق من أن كل سطر يضم عنواناً كاملاً. وتستطيع أداة الإنشاء أيضاً إضافة سطر Sitemap.‎

  8. Doran, D.; Gokhale, S.‎ S.‎ (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), ص. 183–210

    النتيجة تبيّن من مقارنة طرق اكتشاف الروبوتات الشائعة أن أياً منها لا يعمل بصورة موثوقة في جميع الحالات. بعض الروبوتات يتصرف بشكل ضار أو يثقل كاهل السيرفر.

    في الأداة تدعم الدراسة هذا القيد. لا يمكن التعرف على الروبوتات بيقين، ولا تعمل القاعدة إلا مع الزواحف التي تستخدم اسمها الحقيقي وتلتزم بها.

  9. Kim, T.; Bock, K.; Luo, C.‎ وآخرون (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), ص. 541–557

    النتيجة في تجارب مضبوطة شملت 130 روبوتاً معروف الاسم على مدى 40 يوماً، كان الالتزام بالقواعد الأشد أقل. وكثيراً ما لم تطلب زواحف البحث بالذكاء الاصطناعي ملف robots.txt أصلاً.

    في الأداة لهذا يظهر مع كل نتيجة «محظور» تنبيه إلى أن الالتزام بالحظر طوعي. وعند اختيار «حظر الكل» في أداة الإنشاء، نوصي بإعداد حماية فعلية على السيرفر.

  10. Longpre, S.; Mahari, R.; Lee, A.‎ وآخرون (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. التقدم في أنظمة معالجة المعلومات العصبية 37 (NeurIPS 2024)، ص. 108042–108087

    النتيجة وجدت مراجعة لـ 14,000 نطاق ضمن بيانات تدريب الذكاء الاصطناعي زيادة قوية في عمليات الحظر خلال سنة، وفروقاً كبيرة بين مزوّدي الذكاء الاصطناعي، وتعارضات متكررة بين شروط الاستخدام وrobots.txt.‎

    في الأداة لهذا يمكن اختيار كل زاحف ذكاء اصطناعي على حدة. ولتحديد ما إذا كان ينبغي إتاحة التدريب، يحيل الفاحص إلى أداة فحص زواحف الذكاء الاصطناعي.

  11. Liu, E.; Luo, E.; Shan, S.‎ وآخرون (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. وقائع مؤتمر ACM لقياس الإنترنت لعام 2025 (IMC 2025)، ص. 78–99

    النتيجة أظهرت القياسات واستطلاع شمل 203 فنانين حاجةً كبيرة إلى robots.txt، مع عقبات تتعلق بالخبرة الفنية وبإمكانية إدارة مواقعهم. وكان الحظر عبر الوكيل العكسي أكثر فاعلية.

    في الأداة لهذا تتولى أداة الإنشاء الحالات الشائعة دون مصطلحات متخصصة، وتوصي بإشراك شركة الاستضافة إذا أردتم فرض الحظر.

  12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V.‎ (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), ص. 29–41

    النتيجة أظهر قياس لنحو 4 ملايين نطاق أن robots.txt ما زال الأداة الرئيسية للسماح للزواحف بالوصول أو حظره. وغالباً ما يُقيّد وصول وكلاء الذكاء الاصطناعي بسطور Disallow.‎

    في الأداة لهذا يركز الفاحص على robots.txt ويتعامل مع أسماء زواحف الذكاء الاصطناعي كما يتعامل مع زواحف محركات البحث.

  13. Ansar, M.; Sperotto, A.; Holz, R.‎ (2025): Web Crawl Refusals: Insights From Common Crawl. القياس السلبي والنشط (PAM 2025)، Lecture Notes in Computer Science، ص. 197–214

    النتيجة رفض نحو 1.68 بالمئة من المواقع في نسخة من Common Crawl الزاحف صراحةً، وغالباً عبر شركات استضافة كبيرة ومزوّدي إنشاء المواقع، من الحظر حتى صفحة التحقق.

    في الأداة لهذا لا يفيد السماح في robots.txt إذا كانت شركة الاستضافة أو خدمة الحماية من الروبوتات تمنع الزاحف مسبقاً.

معايير وجهات رسمية وبيانات الشركات المصنِّعة

الاثنين–الجمعة، 8:00–17:00

أرسلوا لنا النتيجة المنسوخة. نفحص robots.txt وخريطة موقعكم ونعالج ما يمنع ظهور الصفحات في Google، في روديفيش ومنطقة فوغتلاند كلها.

+49 3744 4399760[email protected]

الاثنين–الجمعة، 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch

اطلبوا فحص robots.txt
+49 3744 4399760الاثنين–الجمعة، 8:00–17:00
اتصلوا بنانتصل بكم

قائمة المكوّنات · صفحة 1/1

ممَّ تتكوّن هذه الصفحة

القيم مقيسة عند بناء الصفحة، ومع تفعيل JavaScript يعيد متصفحكم القياس مباشرة.

رقمالمكوّنالنوعالحجم
01index.htmlمستند≈ 29 كيلوبايت
02styles.cssورقة أنماط≈ 20 كيلوبايت
03scripts.jsسكربت≈ 13 كيلوبايت
04archivo-variable.woff2خط≈ 58 كيلوبايت
05ibm-plex-mono.woff2خط≈ 30 كيلوبايت
06favicon.svgرسمأقل من 1 كيلوبايت

ملفات ارتباط (Cookies) للإعلانات أو التحليل: لا يوجد. من دون موافقتكم لا تحمّل الصفحة شيئاً من سيرفرات خارجية، ما عدا خدمة التوزيع Cloudflare التي نستخدمها. الخطوط والسكربتات والرسوم محفوظة عندنا. وبالطريقة نفسها نبني أنظمتكم.

خارج أوقات الدوام

اتصلوا مع ذلك ولا تترددوا

دوامنا المعتاد في المكتب من الاثنين إلى الجمعة، من 8:00 إلى 17:00.

في المساء وفي عطلة نهاية الأسبوع يُحوَّل الاتصال إلينا أيضاً، وكثيراً ما يرد أحدنا. لكننا لا نستطيع أن نعدكم بذلك.

إذا لم يرد أحد فاتركوا رسالة صوتية قصيرة: الاسم ورقم الهاتف وموضوع الاتصال. نتصل بكم في أسرع وقت ممكن، وفي يوم العمل التالي على أبعد تقدير.

المكالمة مجانية. وإذا احتجتم خارج أوقات الدوام إلى من يباشر العمل فوراً، تُحسب الزيادة المذكورة في قائمة الأسعار.

اتصلوا الآن+49 3744 4399760

تفضّلون الكتابة؟ راسلونا عبر نموذج التواصل أو على [email protected]. نقرأ الرسالة في يوم العمل التالي.

تشخيص · AT-K2

بماذا نساعدكم؟

↵ اختيارESC إغلاقللاتصال: ‎+49 3744 4399760

إعدادات مخصّصة

أي الخدمات تسمحون بتحميلها؟

ضرورية تقنياً

اختياركم هنا، وإعدادات الألوان والحركة. تبقى هذه المعلومات محفوظة كإدخالات صغيرة على جهازكم ولا تُرسل إلى أي سيرفر أبداً. وهي لازمة لعمل الموقع، لذلك لا يمكن إلغاؤها.