ٹول AT-W48REV.‎ 2026-A

robots.txt ٹیسٹر: کیا Googlebot یہ صفحہ پڑھ سکتا ہے؟

Googlebot کسی صفحے کو حاصل کر سکتا ہے یا نہیں، اس کا فیصلہ robots.txt کی ایک ہی لائن کرتی ہے: اس کرالر پر لاگو گروپ کا سب سے لمبا ملتا ہوا قاعدہ۔ اپنی فائل ڈالیں اور پاتھس یا پورے ایڈریس لکھیں۔ ٹیسٹر Googlebot، Bingbot، GPTBot اور دوسرے کرالرز کے لیے دکھاتا ہے کہ کسی پاتھ کی اجازت ہے یا وہ بلاک ہے، اور کون سی لائن یہ فیصلہ کرتی ہے۔ جو چیز Google معیار سے مختلف پڑھتا ہے، اس کی نشاندہی بھی ساتھ ہی کر دیتا ہے۔

  • مفت
  • رجسٹریشن کے بغیر
  • متن براؤزر ہی میں رہتا ہے

robots.txt ڈالیں، ہر پاتھ الگ جانچیں

ٹیسٹر · RFC 9309 کے مطابق robots.txt

جانچ RFC 9309 کے مطابق ہوتی ہے، انفرادی کرالرز کی ثابت شدہ خصوصیات کے ساتھ۔ کوئی کرالر اس پر عمل کرتا ہے یا نہیں، یہ اس کا آپریٹر طے کرتا ہے۔

براؤزر میں ihre-firma.de/robots.txt کھولیں اور پورا متن کاپی کریں۔ فائل اے آئی کرالر چیک میں حاصل کی جا سکتی ہے۔

زیادہ سے زیادہ 50۔ پورے ایڈریس میں سے پاتھ اور پیرامیٹرز گنے جاتے ہیں، مثلاً /shop?sort=preis۔

کن کرالرز کے لیے؟
سرچ انجن · 6
Google کے دوسرے کرالرز · 3
اے آئی کرالرز · 24

وہ نام جو آپریٹر robots.txt کے لیے بتاتا ہے (پروڈکٹ ٹوکن)، پوری براؤزر شناخت نہیں۔

ٹیسٹر براؤزر میں حساب لگاتا ہے۔ متن اور ایڈریس آپ کی ڈیوائس سے باہر نہیں جاتے۔

نتیجہ

اپنی robots.txt ڈالیں اور پاتھس لکھیں۔ آزمانے کے لیے ایک مثال موجود ہے۔

کرالر یوں طے کرتا ہے کہ صفحہ حاصل کرے یا نہیں

ستمبر 2022 سے یہ طریقہ RFC 9309 کے طور پر طے شدہ ہے؛ اس سے پہلے یہ 1994 کا ایک سمجھوتہ تھا، جس پر بڑے کرالرز کبھی زیادہ، کبھی کم درستی سے عمل کرتے تھے Sun اور دیگر 2010۔ ٹیسٹر RFC کے مطابق، اس ترتیب سے حساب لگاتا ہے:

  1. فائل۔ یہ مرکزی ڈائریکٹری میں /robots.txt پر ہوتی ہے اور صرف اسی ہوسٹ پر، پروٹوکول اور پورٹ سمیت، لاگو ہوتی ہے۔ ihre-firma.de کی فائل www.ihre-firma.de اور shop.ihre-firma.de پر لاگو نہیں ہوتی۔
  2. گروپ۔ کرالر اپنے نام والا گروپ تلاش کرتا ہے، چھوٹے بڑے حروف سے فرق نہیں پڑتا۔ ایک ہی نام کے کئی گروپ ملا کر ایک کر دیے جاتے ہیں۔ کوئی نہ ہو تو “User-agent: *” لاگو ہوتا ہے، اور اگر وہ بھی نہ ہو تو ہر چیز کی اجازت ہے۔
  3. قاعدہ۔ گروپ میں وہ سب سے لمبی Allow یا Disallow لائن جیتتی ہے جو پاتھ کے شروع سے ملتی ہو۔ لمبائی برابر ہو تو Allow جیتتا ہے۔ لائنوں کی ترتیب سے کوئی فرق نہیں پڑتا۔
  4. حروف۔ ستارہ (*) کا مطلب کتنے بھی حروف، آخر میں ڈالر ($) کا مطلب ایڈریس کا اختتام۔ پاتھ میں چھوٹے بڑے حروف کا فرق ہوتا ہے۔ جرمن اُملاؤٹ جیسے خاص حروف کا موازنہ کرالر پرسنٹ انکوڈنگ میں کرتا ہے، لہٰذا “/über” اور “/%C3%BCber” ایک ہی ہیں۔
  5. استثنا۔ robots.txt خود ہر کوئی حاصل کر سکتا ہے، اور Sitemap لائنیں گروپس سے آزاد لاگو ہوتی ہیں۔
کون سا گروپ لاگو ہے؟کرالر/robots.txtاپناگروپورنہ گروپ*ورنہ سباجازتکون سا قاعدہ لاگو ہے؟پاتھملتے قواعدسب سے لمباجیتتا ہے، برابرہوں تو Allowاجازت یامحفوظکون سا گروپ لاگو ہے؟کرالر/robots.txtاپنا گروپورنہ گروپ *ورنہ سب کی اجازتکون سا قاعدہ لاگو ہے؟پاتھملتے قواعدسب سے لمبا جیتتا ہے، برابرہوں تو Allowاجازت یا بلاک
شکل 1 · کرالر robots.txt کیسے پڑھتا ہےسنہرا = آپ کی فائل · دو سوال، ایک کے بعد ایک

کوئی پیٹرن کس پر لاگو ہوتا ہے

مثالیں، اسی فنکشن سے حساب شدہ جو ٹیسٹر استعمال کرتا ہے
پیٹرنلاگو ہوتا ہےلاگو نہیں ہوتا
/fisch/fisch, /fisch.html, /fischkopf/rezept/Fisch, /katalog/fisch
/fisch//fisch/, /fisch/?sorte=lachs/fisch, /fisch.html
/*.php/index.php, /ordner/seite.php?id=1/, /seite.PHP
/*.php$/seite.php/seite.php?id=1, /seite.php5
/*?s=/?s=preise, /blog/?s=test/blog/?seite=2

موازنہ ہمیشہ پاتھ کے شروع سے ہوتا ہے، اس لیے /fisch کا اطلاق /katalog/fisch پر نہیں ہوتا۔ جو “ہر جگہ” چاہتا ہے، وہ آگے ستارہ لگائے۔

سب سے لمبا قاعدہ جیتتا ہے

مثال میں گروپ شاپ کو بلاک کرتا ہے لیکن آفرز والے حصے کو مستثنیٰ رکھتا ہے۔ /shop/angebote/herbst کے لیے ٹیسٹر کا نتیجہ: گروپ “User-agent: *” میں لائن 3 “Allow: /shop/angebote/” سے اجازت ہے۔ 15 حروف کے ساتھ یہ 2 ملتے قواعد میں سب سے لمبا ہے۔ اس کے برعکس /shop/kasse کا نتیجہ بلاک ہے، کیونکہ صرف چھوٹا قاعدہ ملتا ہے۔

تجارتی کرالرز لمبے عرصے تک کچھ قواعد کی بار بار خلاف ورزی کرتے رہے یا انہیں غلط سمجھتے رہے Giles اور دیگر 2010۔ RFC کے بعد سے حساب واضح ہے، لیکن ہر کرالر اس پر عمل نہیں کرتا۔ اسی لیے ٹیسٹر ان لائنوں کی نشاندہی کرتا ہے جنہیں کرالرز مختلف طرح پڑھتے ہیں۔

User-agent: *
Disallow: /shop/
Allow: /shop/angebote/

سب سے عام غلطی: گروپس کچھ وراثت میں نہیں لیتے

اگر کسی کرالر کا اپنا گروپ ہو تو عمومی گروپ اس پر لاگو نہیں رہتا، جزوی طور پر بھی نہیں۔ مثال میں /intern/ سب کے لیے بلاک ہونا چاہیے، لیکن Googlebot کو ڈرافٹس کے لیے اپنا گروپ ملتا ہے۔ /intern/preise کا نتیجہ: Bingbot بلاک ہے، جبکہ Googlebot کو اجازت ہے۔ اس لیے جو بات سب پر لاگو ہونی ہے، وہ ہر نام والے گروپ میں ہونی چاہیے۔

نام والے گروپ عام ہیں۔ 2,925 robots.txt فائلوں کے ایک ابتدائی سروے میں بڑے سرچ انجنوں کو اپنے گروپس کے ذریعے اکثر دوسروں سے زیادہ رسائی ملی Sun اور دیگر 2007b؛ تقریباً 6 ملین ویب سائٹس کے ایک بعد کے سروے میں کوئی قابلِ ذکر ترجیح نہیں ملی Kolay اور دیگر 2008۔ ارادتاً ہو یا نہیں، ٹیسٹر ہر منتخب کرالر کے لیے لاگو گروپ دکھاتا ہے، اور خلاصے میں یہ کہ ہر گروپ کس پر لاگو ہے۔

User-agent: *
Disallow: /intern/

User-agent: Googlebot
Disallow: /entwurf/

جہاں Google robots.txt کو معیار سے مختلف پڑھتا ہے

Google نے RFC لکھنے میں حصہ لیا اور بنیادی طور پر اس پر عمل کرتا ہے۔ کچھ جگہوں پر Google کا پارسر زیادہ نرم یا زیادہ سخت ہے، اور اس کی دستاویزات وہ باتیں طے کرتی ہیں جو RFC کھلی چھوڑتا ہے۔ ٹیسٹر RFC کے مطابق حساب لگاتا ہے اور ایسی ہر جگہ کو نوٹ کے طور پر بتاتا ہے، تاکہ آپ کو ایسی فائل ملے جو تمام کرالرز پر یکساں اثر کرے۔

RFC 9309 اور Google کا موازنہ، Google دستاویزات بتاریخ 23 اکتوبر 2026
نکتہRFC 9309Google
فائل سائزکم از کم 500 KiB پڑھنازیادہ سے زیادہ 500 KiB، باقی نظر انداز
کیشےزیادہ سے زیادہ 24 گھنٹے، سوائے اس کے کہ فائل دستیاب نہ ہوعموماً 24 گھنٹے تک، تازہ کرنا ناکام ہو تو زیادہ
ری ڈائریکٹکم از کم پانچ کی پیرویکم از کم پانچ، پھر 404 کی طرح
404 اور دوسرے 4xxrobots.txt نہیں، سب کی اجازتیہی، سوائے 429 کے
5xx یا دستیاب نہیںسب کچھ بلاک؛ لمبے عرصے بعد (مثال 30 دن) ایسے جیسے فائل نہ ہو، یا محفوظ شدہ ورژن12 گھنٹے کوئی کرالنگ نہیں، پھر 30 دن تک آخری درست ورژن (وہ نہ ہو تو کوئی پابندی نہیں)، اس کے بعد ایسے جیسے فائل نہ ہو، اگر ویب سائٹ باقی طرح دستیاب ہو
ہدایاتuser-agent، allow، disallow؛ دوسری لائنوں کی تشریح کرالر کر سکتا ہے، مثلاً sitemapصرف user-agent، allow، disallow اور sitemap؛ noindex، nofollow اور crawl-delay کا 1 ستمبر 2019 سے کوئی اثر نہیں
ٹائپنگ کی غلطی، کولن غائبلائن شمار نہیں ہوتیکچھ ٹائپنگ غلطیاں جیسے “Disalow” اور بغیر کولن والی لائنیں Google کا پارسر پھر بھی پڑھ لیتا ہے
نام کے ساتھ اضافہنام صرف حروف، - اور _ پر مشتمل ہوتے ہیں“googlebot/1.2” اور “googlebot*” کو “googlebot” سمجھا جاتا ہے
اُملاؤٹ، خاص حروفموازنے سے پہلے پرسنٹ انکوڈ کریںپرسنٹ انکوڈنگ میں موازنہ کرتا ہے
سائٹ میپکرالر تشریح کر سکتا ہےپروٹوکول اور ہوسٹ سمیت پورا ایڈریس، کسی دوسرے ہوسٹ پر بھی ہو سکتا ہے

ماخذ: RFC 9309، robots.txt پر Google (بتاریخ 23 اکتوبر 2026)، 2 جولائی 2019 کا Google بلاگ، Google کا پارسر۔ جانچ کی تاریخ 14 نومبر 2026۔

دوسرے سرچ انجنوں کی اپنی خصوصیات ہیں۔ Bing، Crawl-delay کو مانتا ہے اور bingbot کا اپنا گروپ نہ ہو تو msnbot گروپ پڑھتا ہے؛ Yandex، 22 فروری 2018 سے Crawl-delay کو نہیں مانتا اور “User-agent: Yandex” کے ساتھ اس کے تمام روبوٹس کا ایک گروپ ہے۔ Apple کا کرالر اپنا گروپ نہ ہو تو Googlebot گروپ پر عمل کرتا ہے، Google کے اشتہاری کرالرز عمومی گروپ کو مکمل طور پر نظر انداز کرتے ہیں۔ نیچے والا ٹیبل بتاتا ہے کہ ٹیسٹر ان میں سے کس کا حساب لگاتا ہے۔

robots.txt میں کون سے نام لکھے جائیں

User-agent لائن میں پروڈکٹ ٹوکن لکھا جاتا ہے، یعنی وہ مختصر نام جو آپریٹر robots.txt کے لیے بتاتا ہے: “Googlebot”، نہ کہ پوری شناخت جو سرور لاگ میں ہوتی ہے۔ ٹیسٹر کی فہرست میں صرف وہ نام ہیں جنہیں ان کا آپریٹر دستاویزی طور پر بتاتا ہے، اور خاص راستوں کا حساب صرف وہیں لگایا جاتا ہے جہاں آپریٹر انہیں بیان کرتا ہے۔

سرچ انجن اور Google کرالرز، 14 نومبر 2026 کو آپریٹر کی دستاویزات سے جانچے گئے
robots.txt میں نامآپریٹرکس لیےخصوصیت
GooglebotGoogleGoogle سرچ، اے آئی اوور ویوز بھیاپنا گروپ نہ ہو تو “*” لاگو ہوتا ہے۔
Googlebot-ImageGoogleGoogle امیجزاپنا گروپ نہ ہو تو Googlebot گروپ پر عمل کرتا ہے۔
bingbotMicrosoftBing اور Copilotاپنا گروپ نہ ہو تو msnbot گروپ پر عمل کرتا ہے، اس کے بعد ہی “*”۔ Crawl-delay کو مانتا ہے۔
ApplebotAppleSiri, Spotlight, Safariاپنا گروپ نہ ہو تو Googlebot گروپ پر عمل کرتا ہے۔
DuckDuckBotDuckDuckGoDuckDuckGo کا اپنا انڈیکساپنا گروپ نہ ہو تو “*” لاگو ہوتا ہے۔
YandexBotYandexYandex سرچاپنا گروپ نہ ہو تو Yandex گروپ پر عمل کرتا ہے۔ Crawl-delay کا فروری 2018 سے کوئی اثر نہیں۔
Storebot-GoogleGoogleGoogle ShoppingGoogle کوئی متبادل گروپ نہیں بتاتا؛ ٹیسٹر RFC 9309 کے مطابق “*” سے حساب لگاتا ہے۔
AdsBot-GoogleGoogleGoogle Ads کے لینڈنگ پیجز جانچتا ہےگروپ “*” کو نظر انداز کرتا ہے۔ اسے صرف اپنے گروپ سے بلاک کیا جا سکتا ہے۔
Mediapartners-GoogleGoogleAdSense اور Ad Managerگروپ “*” کو نظر انداز کرتا ہے۔ اسے صرف اپنے گروپ سے بلاک کیا جا سکتا ہے۔

اس کے علاوہ اے آئی کمپنیوں کی 24 شناختیں ہیں، جن میں GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot، Claude-User شامل ہیں۔ 2023 سے ویب سائٹس اے آئی کمپنیوں کو زیادہ سے زیادہ اور بہت مختلف طریقوں سے بلاک کر رہی ہیں، اور اس میں استعمال کی شرائط اور robots.txt اکثر ایک دوسرے سے متضاد ہوتی ہیں Longpre اور دیگر 2024۔ تقریباً 4 ملین ڈومینز کی ایک پیمائش بتاتی ہے کہ اس کام کے لیے robots.txt ہی سب سے اہم ذریعہ ہے اور وہاں اے آئی ایجنٹس پر زیادہ تر Disallow سے پابندی لگائی جاتی ہے Hoffmann اور دیگر 2026۔ کون سا اے آئی کرالر کس مقصد سے پڑھتا ہے، یہ اے آئی کرالر چیک میں درج ہے؛ وہ آپ کی اصل robots.txt بھی ساتھ ہی حاصل کر لیتا ہے۔

عام صورتوں کے لیے robots.txt لکھیں

جسے robots.txt کی ضرورت ہو، وہ کم ہی تکنیکی اصطلاحات سیکھنا چاہتا ہے۔ 203 فنکاروں کے ایک سروے میں اس فائل کی خواہش زیادہ تھی، لیکن اس کی معلومات اور اپنی ویب سائٹ تک رسائی اکثر نہیں تھی Liu اور دیگر 2025۔ اس لیے جنریٹر صرف یہ پوچھتا ہے کہ کرالرز کیا پڑھیں، اور بغیر پیچیدگی کے سادہ Allow اور Disallow لائنیں لکھتا ہے۔ “ٹیسٹر میں جانچیں” سے متن اوپر ٹیسٹر میں پہنچ جاتا ہے۔

جنریٹر · عام صورتوں کے لیے robots.txt

robots.txt صرف کرالنگ کو کنٹرول کرتی ہے۔ یہ کسی ڈیٹا کی حفاظت نہیں کرتی، کیونکہ اسے ہر کوئی پڑھ سکتا ہے، اور یہ کسی صفحے کو Google انڈیکس سے نہیں نکالتی: بلاک کیا گیا ایڈریس بغیر تفصیل کے نتائج میں آ سکتا ہے، اگر دوسرے صفحات اس کا لنک دیں۔

کرالرز کو کیا پڑھنے کی اجازت ہو؟
کون سے حصے بلاک کیے جائیں؟

آخر میں سلیش ہو تو قاعدہ صرف ڈائریکٹری کو بلاک کرتا ہے۔ اس کے بغیر /intern کا اطلاق /internes-handbuch پر بھی ہوتا ہے۔

ہر نام کے لیے دو لائنیں، ?name= اور &name= کے لیے۔ یوں “sort” کا اطلاق “resort” پر نہیں ہوتا۔

https:// اور ڈومین کے ساتھ، ورنہ یہ لائن شامل نہیں ہوتی۔

# robots.txt, erstellt mit dem robots.txt-Tester von aureum-tech.com (Stand 14. November 2026)
# Regelt nur das Crawlen. Schützt keine Daten und nimmt keine Seite aus dem Google-Index.
User-agent: *
Disallow:

جنریٹر براؤزر میں چلتا ہے اور کچھ نہیں بھیجتا۔ فائل robots.txt کے نام سے مرکزی ڈائریکٹری میں رکھیں، ہر سب ڈومین کے لیے الگ۔

Sitemap لائن تقریباً ہمیشہ فائدہ مند ہے۔ لنکس کے ذریعے کرالنگ اور سائٹ میپ ایک دوسرے کی تکمیل کرتے ہیں: Google پر اربوں ایڈریسز میں، بغیر آنے والے لنکس والے صفحات اور نیا مواد سائٹ میپ کے ذریعے جلدی نظر میں آئے Schonfeld اور Shivakumar 2009۔ اس لائن کو پورا ایڈریس چاہیے اور یہ تمام گروپس پر لاگو ہوتی ہے۔

robots.txt کیا نہیں کر سکتی

  • یہ انڈیکس سے کچھ نہیں نکالتی۔ Google کے مطابق robots.txt کسی صفحے کو Google سے باہر رکھنے کا ذریعہ نہیں۔ بلاک کیا گیا ایڈریس، جس کا لنک دوسرے صفحات دیں، بغیر تفصیل کے نتائج میں آ سکتا ہے۔ یہ noindex سے نکلتا ہے، اور Google اسے صرف تب دیکھتا ہے جب اسے صفحہ پڑھنے کی اجازت ہو۔
  • یہ کسی چیز کی حفاظت نہیں کرتی۔ فائل عوامی ہے اور بلاک کیے گئے پاتھس کی فہرست دیتی ہے؛ RFC واضح طور پر کہتا ہے کہ یہ رسائی کی حفاظت کا متبادل نہیں۔ کوئی کرالر اس پر عمل کرے یا نہیں، یہ اس کے آپریٹر کی صوابدید کا معاملہ ہے Thelwall اور Stuart 2006۔ خفیہ مواد پاس ورڈ کے پیچھے ہونا چاہیے۔
  • یہ ایک درخواست ہے۔ پہلے بڑے سرووں نے ہی اس فائل کو ایک ایسا قاعدہ بتایا جس پر شریف کرالرز عمل کرتے ہیں، نفاذ نہیں Sun اور دیگر 2007a۔ 40 دن تک 130 نام والے بوٹس کے تجربات میں بوٹس نے سخت قواعد پر کم عمل کیا، اور اے آئی سرچ کرالرز نے اکثر فائل مانگی ہی نہیں Kim اور دیگر 2025۔
  • یہ صرف ناموں پر اثر کرتی ہے۔ بوٹس کو یقینی طور پر پہچانا نہیں جا سکتا، عام طریقوں میں سے کوئی بھی عمومی طور پر قابلِ اعتماد نہیں Doran اور Gokhale 2011۔ جو کسی اور کے نام سے آتا ہے، اس پر کوئی قاعدہ لاگو نہیں ہوتا۔
  • سخت پابندیاں سرور پر ہوتی ہیں۔ اے آئی کرالرز کے خلاف ریورس پراکسی پر پابندیاں robots.txt سے زیادہ مؤثر رہیں Liu اور دیگر 2025۔ دوسری طرف کچھ ہوسٹنگ کمپنیاں اور ویب سائٹ بلڈرز کرالرز کو robots.txt کے کام آنے سے پہلے ہی روک دیتے ہیں: Common Crawl کے ایک ڈیٹا سیٹ میں یہ تقریباً 1.68 فیصد ویب سائٹس تھیں Ansar اور دیگر 2025۔ تب بہترین Allow لائن بھی کسی کام کی نہیں۔
  • ٹیسٹر آپ کے متن پر حساب لگاتا ہے۔ آپ کا سرور واقعی یہی فائل، اسٹیٹس 200 اور متن کے طور پر، دیتا ہے یا نہیں، یہ اے آئی کرالر چیک اصل درخواست بھیج کر جانچتا ہے۔

ٹیسٹر ایک ابتدائی سوال کا جواب دیتا ہے۔ آپ کے صفحات واقعی Google میں ہیں یا نہیں، اور نہیں تو رکاوٹ کہاں ہے، یہ SpotLens کا کوئیک چیک دکھاتا ہے۔ خود دیکھنے کے پہلے اقدامات گائیڈ ویب سائٹ Google پر نہیں ملتی میں ہیں، اور ہم روڈے وش اور فوگٹ لینڈ میں ویب سائٹس کو کیسے تلاش کے قابل بناتے ہیں، یہ SEO میں۔ تلاش میں نظر آنے کے مزید ٹولز SEO اور ویزیبلٹی میں ہیں۔

یہ ٹول کسی اے آئی اسسٹنٹ سے استعمال کریں

Claude یا ChatGPT جیسے اسسٹنٹ، جو Model Context Protocol (MCP) استعمال کرتے ہیں، اس صفحے کا حساب خود دوبارہ بنانے کی بجائے سیدھا یہیں سے چلا سکتے ہیں۔ سرور پبلک ہے، لاگ اِن نہیں مانگتا اور کچھ محفوظ نہیں کرتا۔ جواب میں ہمیشہ اس صفحے کا لنک، ڈیٹا کی تاریخ اور نتیجے کی حدود شامل ہوتی ہیں۔

اینڈ پوائنٹ
https://aureum-tech.com/mcp
ٹول
werkzeug_robots_txt_tester
ٹرانسپورٹ
Streamable HTTP، صرف پڑھنے کے لیے
اِن پٹس
ناملازمیمطلب
robots_txtہاںrobots.txt کا مکمل متن، جیسا کہ وہ /robots.txt پر موجود ہے۔
pfadeنہیںزیادہ سے زیادہ 50 پاتھس یا پورے URLs، مثلاً “/kontakt” یا “https://www.firma.de/blog?seite=2”۔ URLs میں سے پاتھ اور Query گنے جاتے ہیں۔ کچھ نہ دیں تو “/”۔
crawlerنہیںکرالرز کے پروڈکٹ ٹوکن، مثلاً Googlebot، bingbot، GPTBot؛ “*” ہر اس کرالر کے لیے جس کا اپنا گروپ نہیں۔ معلوم نام: Googlebot، Googlebot-Image، bingbot، Applebot، DuckDuckBot، YandexBot، Storebot-Google، AdsBot-Google، Mediapartners-Google، GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot، Claude-User، Google-Extended، Google-Agent، PerplexityBot، Perplexity-User، Applebot-Extended، meta-externalagent، meta-webindexer، meta-externalfetcher، Amazonbot، Amzn-SearchBot، Amzn-User، MistralAI-Training، MistralAI-Index، MistralAI-User، DuckAssistBot، YouBot، CCBot، Bytespider، *۔ دوسرے نام RFC 9309 کے مطابق جانچے جاتے ہیں۔ کچھ نہ دیں تو: Googlebot، bingbot، GPTBot، ClaudeBot، *۔

ایسے سوالات جن پر اسسٹنٹ کو یہ ٹول چلانا چاہیے

  • “کیا Googlebot اس robots.txt کے ساتھ /wp-admin/admin-ajax.php حاصل کر سکتا ہے؟”
  • “User-agent: * کے تحت میری پابندی GPTBot پر کیوں لاگو نہیں ہوتی؟”
  • “میری robots.txt کی کون سی لائن Bingbot کے لیے https://www.firma.de/shop?sort=preis کو بلاک کرتی ہے؟”
  • “کیا میری robots.txt میں ‘Disalow: /intern/’ غلطی ہے، اور کیا Google یہ لائن پھر بھی پڑھتا ہے؟”

کنکشن کیسے کام کرتا ہے اور MCP آپ کے اپنے کاروبار میں کیا کر سکتا ہے، یہ MCP انٹیگریشنز کے صفحے پر لکھا ہے۔

robots.txt کے بارے میں عام سوالات

کیا “Disallow” کسی صفحے کو Google انڈیکس سے نکال دیتا ہے؟

نہیں۔ Disallow صرف صفحہ حاصل کرنے سے روکتا ہے۔ اگر دوسرے صفحات اس ایڈریس کا لنک دیتے ہیں تو Google اسے پھر بھی نتائج میں شامل کر سکتا ہے، بس بغیر تفصیل کے۔ اگر صفحہ ہٹانا ہو تو Google کو اسے پڑھنے کی اجازت ہونی چاہیے اور وہاں میٹا ٹیگ یا X-Robots-Tag میں noindex ملنا چاہیے؛ ورنہ صفحہ 404 یا 410 واپس کرے یا پاس ورڈ کے پیچھے ہو۔ بلاک اور noindex ایک ساتھ لگانے سے الٹا اثر ہوتا ہے: Google کو noindex کبھی نظر ہی نہیں آتا۔

“User-agent: *” کے تحت میری پابندی Googlebot پر کیوں لاگو نہیں ہوتی؟

کیونکہ Googlebot کا اپنا الگ گروپ موجود ہے۔ کرالر اپنے نام والے گروپ پر عمل کرتا ہے، اور صرف اس صورت میں عمومی گروپ “*” پر جب اپنا گروپ نہ ہو۔ اس لیے جو چیز وہاں بلاک ہے، اسے ہر نام والے گروپ میں بھی لکھنا ضروری ہے۔ ٹیسٹر ہر نتیجے کے ساتھ دکھاتا ہے کہ کون سا گروپ لاگو ہے۔

اگر Allow اور Disallow دونوں ایک ہی پاتھ پر لاگو ہوں تو کون جیتتا ہے؟

لمبا قاعدہ، جو حروف کی تعداد سے گنا جاتا ہے۔ لمبائی برابر ہو تو Allow جیتتا ہے؛ فائل میں ترتیب سے کوئی فرق نہیں پڑتا۔ لہٰذا “Disallow: /shop/” اور “Allow: /shop/angebote/” کے ساتھ /shop/angebote/ کھلا رہتا ہے، شاپ کا باقی حصہ نہیں۔

بدلی ہوئی robots.txt کا Google پر اثر کتنی جلدی ہوتا ہے؟

Google عموماً فائل کو 24 گھنٹے تک محفوظ رکھتا ہے، اور اگر تازہ کرنا ناکام ہو جائے تو اس سے زیادہ بھی۔ تب تک پرانے قواعد لاگو رہتے ہیں۔ اس لیے کوئی تبدیلی پہلے یہاں جانچیں اور اس کے بعد ہی اپ لوڈ کریں۔

کیا میں robots.txt سے خفیہ حصوں کی حفاظت کر سکتا ہوں؟

نہیں۔ یہ فائل عوامی ہے، ہر کوئی اسے کھول سکتا ہے، اور یہ بلاک کیے گئے پاتھس بھی بتا دیتی ہے۔ معیار خود یہی کہتا ہے: یہ رسائی کی حفاظت کا متبادل نہیں۔ خفیہ مواد سرور پر لاگ اِن یا پاس ورڈ کے پیچھے ہونا چاہیے۔

کیا Google robots.txt میں Crawl-delay یا Noindex کو مانتا ہے؟

نہیں۔ Google صرف user-agent، allow، disallow اور sitemap پڑھتا ہے۔ robots.txt میں noindex، nofollow اور crawl-delay کا Google پر 1 ستمبر 2019 سے کوئی اثر نہیں۔ Bing، Crawl-delay کو مانتا ہے، Yandex فروری 2018 سے نہیں مانتا، Applebot بھی نہیں۔ ٹیسٹر ایسی لائنوں کی نشاندہی کرتا ہے۔

robots.txt ٹیسٹر کی حد کہاں ختم ہوتی ہے؟

یہ آپ کے ڈالے ہوئے متن پر RFC 9309 اور کرالرز کی دستاویزی خصوصیات کے مطابق حساب لگاتا ہے۔ آپ کا سرور واقعی یہی فائل دیتا ہے یا نہیں، یہ اے آئی کرالر چیک اصل درخواست بھیج کر جانچتا ہے۔ آپ کے صفحات انڈیکس میں ہیں یا نہیں، اور نہیں تو رکاوٹ کہاں ہے، یہ SpotLens کا کوئیک چیک دکھاتا ہے۔ جو چیز صفحات کو Google سے باہر رکھتی ہے، اسے ہم آپ کی خواہش پر ٹھیک کر دیتے ہیں۔

اس ٹول کی بنیاد کیا ہے

اوپر دی گئی رہنما قدریں اور نوٹس ان 13 تحقیقی مقالوں پر مبنی ہیں۔ ہر ایک کو اس کے DOI یا پبلشر کے صفحے کے ذریعے جانچا گیا ہے (آخری بار 14 نومبر 2026 کو): یہ موجود ہے، واپس نہیں لیا گیا، اور اس کا نتیجہ آج بھی اس سوال کے لیے کارآمد ہے۔

  1. Sun, Y.; Zhuang, Z.; Giles, C.‎ L.‎ (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007)، صفحات 1123–1124

    نتیجہ 7,593 ویب سائٹس کے پانچ مسلسل سروے دکھاتے ہیں کہ robots.txt کا استعمال بڑھتا جا رہا ہے۔ فائل خود کچھ نافذ نہیں کرتی؛ شریف کرالرز ہی اس پر عمل کرتے ہیں۔

    ٹول میں ہر نتیجے کے اوپر یہ انتباہ دکھاتا ہے: robots.txt ایک درخواست ہے، تالا نہیں۔

  2. Sun, Y.; Zhuang, Z.; Councill, I.‎ G.; Giles, C.‎ L.‎ (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07)، صفحات 149–155

    نتیجہ 2,925 robots.txt فائلوں میں بڑے سرچ انجنوں کے کرالرز کو اپنے گروپس کے ذریعے اکثر ترجیح دی گئی، اور یہ ترجیح مارکیٹ میں حصے سے گہرا تعلق رکھتی تھی۔

    ٹول میں اسی لیے ٹیسٹر کئی کرالرز کا ساتھ ساتھ موازنہ کرتا ہے اور دکھاتا ہے کہ کون سا گروپ کس پر لاگو ہے: فرق نام والے گروپس سے پیدا ہوتے ہیں۔

  3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A.‎ (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008)، صفحات 1171–1172

    نتیجہ تقریباً 6 ملین ویب سائٹس کے ایک سروے میں، 2007 کے چھوٹے مطالعے کے برعکس، کسی خاص سرچ انجن کو کوئی قابلِ ذکر ترجیح نہیں ملی۔

    ٹول میں متن میں واضح کیا گیا ہے کہ ترجیح کے بارے میں نتائج نمونے کے لحاظ سے مختلف ہیں۔ اس لیے ٹیسٹر کوئی رائے نہیں دیتا، بلکہ ہر کرالر کے لیے لاگو گروپ دکھاتا ہے۔

  4. Giles, C.‎ L.; Sun, Y.; Councill, I.‎ G.‎ (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010)، صفحات 1101–1102

    نتیجہ زیادہ تر کمرشل کرالرز قواعد کے مطابق چلے، لیکن کئی نے robots.txt کے بعض قواعد کو بار بار توڑا یا غلط سمجھا۔

    ٹول میں اسی لیے ٹیسٹر ان لائنوں کی نشاندہی کرتا ہے جنہیں کرالرز مختلف طرح پڑھتے ہیں، اور جنریٹر صرف سادہ Allow اور Disallow لائنیں لکھتا ہے۔

  5. Sun, Y.; Councill, I.‎ G.; Giles, C.‎ L.‎ (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT)، صفحات 668–675

    نتیجہ ایسے جال صفحات سے، جن میں ہر ایک پر robots.txt کا الگ قاعدہ تھا، بہت سے کرالرز کا رویہ ناپا گیا۔ ان کی پابندی میں بہت فرق تھا؛ بہت سے تجارتی کرالرز کچھ قواعد کی باقاعدگی سے خلاف ورزی کرتے تھے۔

    ٹول میں اس حد کی بنیاد کہ “قاعدہ رویہ نہیں”: کرالر واقعی عمل کرتا ہے یا نہیں، یہ صرف سرور لاگ دکھاتا ہے، ٹیسٹر نہیں۔

  6. Thelwall, M.; Stuart, D.‎ (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13)، صفحات 1771–1779

    نتیجہ یہ مقالہ ویب سائٹ مالکان پر کرالنگ کے اثرات کو لاگت، پرائیویسی اور سرور پر بوجھ کے لحاظ سے ترتیب دیتا ہے۔ کوئی کرال مناسب ہے یا نہیں، اس کے لیے کرالر کے آپریٹر کو ہر معاملے میں الگ فیصلہ کرنا ہوتا ہے۔

    ٹول میں وضاحت کرتا ہے کہ ٹیسٹر خفیہ حصوں کے لیے Disallow لائن کے بجائے پاس ورڈ کی حفاظت کی طرف کیوں اشارہ کرتا ہے۔

  7. Schonfeld, U.; Shivakumar, N.‎ (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009)، صفحات 991–1000

    نتیجہ Google پر اربوں ایڈریسز میں لنکس کے ذریعے کرالنگ اور سائٹ میپس کا موازنہ دکھاتا ہے کہ دونوں ایک دوسرے کی اچھی تکمیل کرتے ہیں: سائٹ میپس بغیر آنے والے لنکس والے صفحات اور تازہ مواد کو جلدی نظر میں لاتے ہیں۔

    ٹول میں اسی لیے ٹیسٹر Sitemap لائنوں کو الگ دکھاتا ہے، جانچتا ہے کہ وہ پورے ایڈریس کے طور پر لکھی ہیں یا نہیں، اور جنریٹر ایک Sitemap لائن ساتھ لکھتا ہے۔

  8. Doran, D.; Gokhale, S.‎ S.‎ (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2)، صفحات 183–210

    نتیجہ بوٹس کی پہچان کے عام طریقوں کا موازنہ دکھاتا ہے کہ ان میں سے کوئی بھی عمومی طور پر قابلِ اعتماد نہیں۔ کچھ بوٹس برا رویہ رکھتے ہیں یا سرور پر کافی بوجھ ڈالتے ہیں۔

    ٹول میں اس حد کی بنیاد کہ بوٹس کو یقینی طور پر پہچانا نہیں جا سکتا: قاعدہ صرف ان کرالرز پر اثر کرتا ہے جو اپنا نام بتائیں اور اس پر عمل کریں۔

  9. Kim, T.; Bock, K.; Luo, C.‎ وغیرہ (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 541–557

    نتیجہ 40 دن تک 130 نام والے بوٹس کے کنٹرولڈ تجربات میں بوٹس نے سخت قواعد پر کم عمل کیا، اور اے آئی سرچ کرالرز نے اکثر robots.txt مانگی ہی نہیں۔

    ٹول میں اسی لیے ہر “بلاک” کے ساتھ یہ نوٹ ہے کہ پابندی ایک درخواست ہے، اور جنریٹر میں “سب بلاک کریں” کے ساتھ سرور پر اصل حفاظت لگانے کا مشورہ۔

  10. Longpre, S.; Mahari, R.; Lee, A.‎ وغیرہ (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، صفحات 108042–108087

    نتیجہ اے آئی ٹریننگ ڈیٹا کے پیچھے 14,000 ڈومینز کے جائزے میں ایک سال کے اندر بلاکس میں تیز اضافہ، اے آئی کمپنیوں کے درمیان بڑے فرق اور استعمال کی شرائط اور robots.txt کے درمیان اکثر تضاد ملا۔

    ٹول میں اسی لیے اے آئی کرالرز الگ الگ منتخب کیے جا سکتے ہیں، اور “ٹریننگ ہاں یا نہیں” کے سوال کے لیے ٹیسٹر اے آئی کرالر چیک کی طرف بھیجتا ہے۔

  11. Liu, E.; Luo, E.; Shan, S.‎ وغیرہ (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 78–99

    نتیجہ پیمائشیں اور 203 فنکاروں کا ایک سروے robots.txt کی بڑی ضرورت دکھاتے ہیں، لیکن تکنیکی معلومات اور اپنی ویب سائٹ تک رسائی میں رکاوٹیں بھی۔ ریورس پراکسی پر پابندیاں زیادہ مؤثر رہیں۔

    ٹول میں اسی لیے تکنیکی اصطلاحات کے بغیر عام صورتوں کا جنریٹر، اور یہ نوٹ کہ سخت پابندی کے لیے ہوسٹنگ کمپنی کو شامل کریں۔

  12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V.‎ (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2)، صفحات 29–41

    نتیجہ تقریباً 4 ملین ڈومینز کی ایک پیمائش دکھاتی ہے: کرالرز کو رسائی کی اجازت دینے یا روکنے کے لیے robots.txt ہی سب سے اہم ذریعہ ہے۔ وہاں اے آئی ایجنٹس پر زیادہ تر Disallow لائنوں سے پابندی لگائی جاتی ہے۔

    ٹول میں وضاحت کرتا ہے کہ ٹیسٹر robots.txt تک کیوں محدود ہے اور اے آئی شناختوں کو سرچ انجنوں کے برابر کیوں جانچتا ہے۔

  13. Ansar, M.; Sperotto, A.; Holz, R.‎ (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، صفحات 197–214

    نتیجہ Common Crawl کے ایک سنیپ شاٹ میں تقریباً 1.68 فیصد ویب سائٹس نے کرالر کو صراحتاً روکا، اکثر بڑی ہوسٹنگ کمپنیوں اور ویب سائٹ بلڈرز کے ذریعے، بلاک سے لے کر تصدیقی صفحے تک۔

    ٹول میں اسی لیے یہ حد کہ اجازت دینے والی robots.txt کا کوئی فائدہ نہیں، اگر ہوسٹنگ کمپنی یا بوٹ پروٹیکشن کرالر کو پہلے ہی روک دے۔

معیارات، سرکاری ادارے اور مینوفیکچررز کی معلومات

کوئی سوال ابھی باقی ہے؟

تمام 10 SEO ٹولز دیکھیں

پیر سے جمعہ، 8 سے 17 بجے تک

کاپی کیا ہوا نتیجہ ہمیں بھیجیں۔ ہم آپ کی ویب سائٹ کی robots.txt اور سائٹ میپ جانچتے ہیں اور جو چیز صفحات کو Google سے باہر رکھتی ہے، اسے ٹھیک کرتے ہیں، روڈے وش اور پورے فوگٹ لینڈ میں۔

+49 3744 4399760[email protected]

پیر سے جمعہ، 8 سے 17 بجے تک · Straße der Jugend 5, 08228 Rodewisch

robots.txt چیک کروائیں
+49 3744 4399760پیر سے جمعہ، 8 سے 17 بجے تک
فون کریںکال بیک

اجزا کی فہرست · صفحہ 1/1

یہ صفحہ کن چیزوں سے بنا ہے

یہ قدریں بِلڈ کے وقت ناپی گئی ہیں۔ JavaScript آن ہو تو آپ کا براؤزر انہیں ابھی دوبارہ ناپتا ہے۔

نمبرجزوقسمسائز
01index.htmlدستاویز≈ 29 کے بی
02styles.cssسٹائل شیٹ≈ 20 کے بی
03scripts.jsسکرپٹ≈ 13 کے بی
04archivo-variable.woff2فونٹ≈ 58 کے بی
05ibm-plex-mono.woff2فونٹ≈ 30 کے بی
06favicon.svgگرافک1 کے بی سے کم

اشتہاری یا اینالیٹکس کوکیز: کوئی نہیں۔ آپ کی اجازت کے بغیر یہ صفحہ بیرونی سرورز سے کچھ لوڈ نہیں کرتا، سوائے ہماری ڈیلیوری سروس Cloudflare کے: فونٹ، سکرپٹس اور گرافکس ہمارے اپنے پاس ہیں۔ آپ کا آئی ٹی بھی ہم اسی طرح بناتے ہیں۔

دفتر کے اوقات کے علاوہ

پھر بھی بے جھجک فون کر لیں

عام طور پر ہم پیر سے جمعہ، 8 سے 17 بجے تک دفتر میں ہوتے ہیں۔

یہ نمبر شام کو اور ویک اینڈ پر بھی ہماری طرف فارورڈ ہوتا ہے، اور اکثر تب بھی کوئی فون اٹھا لیتا ہے۔ اس کا وعدہ ہم نہیں کر سکتے۔

کوئی نہ ملے تو وائس میل پر مختصر پیغام چھوڑ دیں: نام، نمبر اور بات کیا ہے۔ ہم جتنی جلدی ہو سکے واپس فون کرتے ہیں، زیادہ سے زیادہ اگلے ورکنگ ڈے تک۔

بات کرنے کے کوئی پیسے نہیں۔ اگر دفتر کے اوقات کے علاوہ کسی کو فوراً کام پر لگنا پڑے تو ریٹ لسٹ میں درج اضافی چارج لاگو ہوتا ہے۔

ابھی فون کریں+49 3744 4399760

لکھنا بہتر لگتا ہے؟ رابطہ فارم سے یا [email protected] پر لکھیں۔ وہ ہم اگلے ورکنگ ڈے کو پڑھتے ہیں۔

تشخیص · AT-K2

کیا مسئلہ ہے؟

↵ منتخب کریںESC بند کریںفون کریں: ‎+49 3744 4399760

اپنی مرضی کی سیٹنگز

کون سی سروسز لوڈ ہو سکتی ہیں؟

تکنیکی طور پر ضروری

یہاں کیا گیا آپ کا فیصلہ، اور کلر سکیم اور اینیمیشن کی سیٹنگز۔ یہ معلومات چھوٹے اندراجات کی صورت میں آپ کی ڈیوائس پر رہتی ہیں اور کبھی کسی سرور کو نہیں بھیجی جاتیں۔ ویب سائٹ چلانے کے لیے یہ ضروری ہیں، اس لیے انہیں بند نہیں کیا جا سکتا۔