ٹول AT-W48REV. 2026-A
robots.txt ٹیسٹر: کیا Googlebot یہ صفحہ پڑھ سکتا ہے؟
Googlebot کسی صفحے کو حاصل کر سکتا ہے یا نہیں، اس کا فیصلہ robots.txt کی ایک ہی لائن کرتی ہے: اس کرالر پر لاگو گروپ کا سب سے لمبا ملتا ہوا قاعدہ۔ اپنی فائل ڈالیں اور پاتھس یا پورے ایڈریس لکھیں۔ ٹیسٹر Googlebot، Bingbot، GPTBot اور دوسرے کرالرز کے لیے دکھاتا ہے کہ کسی پاتھ کی اجازت ہے یا وہ بلاک ہے، اور کون سی لائن یہ فیصلہ کرتی ہے۔ جو چیز Google معیار سے مختلف پڑھتا ہے، اس کی نشاندہی بھی ساتھ ہی کر دیتا ہے۔
- مفت
- رجسٹریشن کے بغیر
- متن براؤزر ہی میں رہتا ہے
01 / ٹیسٹر
robots.txt ڈالیں، ہر پاتھ الگ جانچیں
ٹیسٹر · RFC 9309 کے مطابق robots.txt
جانچ RFC 9309 کے مطابق ہوتی ہے، انفرادی کرالرز کی ثابت شدہ خصوصیات کے ساتھ۔ کوئی کرالر اس پر عمل کرتا ہے یا نہیں، یہ اس کا آپریٹر طے کرتا ہے۔
02 / قواعد
کرالر یوں طے کرتا ہے کہ صفحہ حاصل کرے یا نہیں
ستمبر 2022 سے یہ طریقہ RFC 9309 کے طور پر طے شدہ ہے؛ اس سے پہلے یہ 1994 کا ایک سمجھوتہ تھا، جس پر بڑے کرالرز کبھی زیادہ، کبھی کم درستی سے عمل کرتے تھے Sun اور دیگر 2010۔ ٹیسٹر RFC کے مطابق، اس ترتیب سے حساب لگاتا ہے:
- فائل۔ یہ مرکزی ڈائریکٹری میں /robots.txt پر ہوتی ہے اور صرف اسی ہوسٹ پر، پروٹوکول اور پورٹ سمیت، لاگو ہوتی ہے۔ ihre-firma.de کی فائل www.ihre-firma.de اور shop.ihre-firma.de پر لاگو نہیں ہوتی۔
- گروپ۔ کرالر اپنے نام والا گروپ تلاش کرتا ہے، چھوٹے بڑے حروف سے فرق نہیں پڑتا۔ ایک ہی نام کے کئی گروپ ملا کر ایک کر دیے جاتے ہیں۔ کوئی نہ ہو تو “User-agent: *” لاگو ہوتا ہے، اور اگر وہ بھی نہ ہو تو ہر چیز کی اجازت ہے۔
- قاعدہ۔ گروپ میں وہ سب سے لمبی Allow یا Disallow لائن جیتتی ہے جو پاتھ کے شروع سے ملتی ہو۔ لمبائی برابر ہو تو Allow جیتتا ہے۔ لائنوں کی ترتیب سے کوئی فرق نہیں پڑتا۔
- حروف۔ ستارہ (*) کا مطلب کتنے بھی حروف، آخر میں ڈالر ($) کا مطلب ایڈریس کا اختتام۔ پاتھ میں چھوٹے بڑے حروف کا فرق ہوتا ہے۔ جرمن اُملاؤٹ جیسے خاص حروف کا موازنہ کرالر پرسنٹ انکوڈنگ میں کرتا ہے، لہٰذا “/über” اور “/%C3%BCber” ایک ہی ہیں۔
- استثنا۔ robots.txt خود ہر کوئی حاصل کر سکتا ہے، اور Sitemap لائنیں گروپس سے آزاد لاگو ہوتی ہیں۔
کوئی پیٹرن کس پر لاگو ہوتا ہے
| پیٹرن | لاگو ہوتا ہے | لاگو نہیں ہوتا |
|---|---|---|
| /fisch | /fisch, /fisch.html, /fischkopf/rezept | /Fisch, /katalog/fisch |
| /fisch/ | /fisch/, /fisch/?sorte=lachs | /fisch, /fisch.html |
| /*.php | /index.php, /ordner/seite.php?id=1 | /, /seite.PHP |
| /*.php$ | /seite.php | /seite.php?id=1, /seite.php5 |
| /*?s= | /?s=preise, /blog/?s=test | /blog/?seite=2 |
موازنہ ہمیشہ پاتھ کے شروع سے ہوتا ہے، اس لیے /fisch کا اطلاق /katalog/fisch پر نہیں ہوتا۔ جو “ہر جگہ” چاہتا ہے، وہ آگے ستارہ لگائے۔
سب سے لمبا قاعدہ جیتتا ہے
مثال میں گروپ شاپ کو بلاک کرتا ہے لیکن آفرز والے حصے کو مستثنیٰ رکھتا ہے۔ /shop/angebote/herbst کے لیے ٹیسٹر کا نتیجہ: گروپ “User-agent: *” میں لائن 3 “Allow: /shop/angebote/” سے اجازت ہے۔ 15 حروف کے ساتھ یہ 2 ملتے قواعد میں سب سے لمبا ہے۔ اس کے برعکس /shop/kasse کا نتیجہ بلاک ہے، کیونکہ صرف چھوٹا قاعدہ ملتا ہے۔
تجارتی کرالرز لمبے عرصے تک کچھ قواعد کی بار بار خلاف ورزی کرتے رہے یا انہیں غلط سمجھتے رہے Giles اور دیگر 2010۔ RFC کے بعد سے حساب واضح ہے، لیکن ہر کرالر اس پر عمل نہیں کرتا۔ اسی لیے ٹیسٹر ان لائنوں کی نشاندہی کرتا ہے جنہیں کرالرز مختلف طرح پڑھتے ہیں۔
User-agent: * Disallow: /shop/ Allow: /shop/angebote/
سب سے عام غلطی: گروپس کچھ وراثت میں نہیں لیتے
اگر کسی کرالر کا اپنا گروپ ہو تو عمومی گروپ اس پر لاگو نہیں رہتا، جزوی طور پر بھی نہیں۔ مثال میں /intern/ سب کے لیے بلاک ہونا چاہیے، لیکن Googlebot کو ڈرافٹس کے لیے اپنا گروپ ملتا ہے۔ /intern/preise کا نتیجہ: Bingbot بلاک ہے، جبکہ Googlebot کو اجازت ہے۔ اس لیے جو بات سب پر لاگو ہونی ہے، وہ ہر نام والے گروپ میں ہونی چاہیے۔
نام والے گروپ عام ہیں۔ 2,925 robots.txt فائلوں کے ایک ابتدائی سروے میں بڑے سرچ انجنوں کو اپنے گروپس کے ذریعے اکثر دوسروں سے زیادہ رسائی ملی Sun اور دیگر 2007b؛ تقریباً 6 ملین ویب سائٹس کے ایک بعد کے سروے میں کوئی قابلِ ذکر ترجیح نہیں ملی Kolay اور دیگر 2008۔ ارادتاً ہو یا نہیں، ٹیسٹر ہر منتخب کرالر کے لیے لاگو گروپ دکھاتا ہے، اور خلاصے میں یہ کہ ہر گروپ کس پر لاگو ہے۔
User-agent: * Disallow: /intern/ User-agent: Googlebot Disallow: /entwurf/
03 / Google
جہاں Google robots.txt کو معیار سے مختلف پڑھتا ہے
Google نے RFC لکھنے میں حصہ لیا اور بنیادی طور پر اس پر عمل کرتا ہے۔ کچھ جگہوں پر Google کا پارسر زیادہ نرم یا زیادہ سخت ہے، اور اس کی دستاویزات وہ باتیں طے کرتی ہیں جو RFC کھلی چھوڑتا ہے۔ ٹیسٹر RFC کے مطابق حساب لگاتا ہے اور ایسی ہر جگہ کو نوٹ کے طور پر بتاتا ہے، تاکہ آپ کو ایسی فائل ملے جو تمام کرالرز پر یکساں اثر کرے۔
| نکتہ | RFC 9309 | |
|---|---|---|
| فائل سائز | کم از کم 500 KiB پڑھنا | زیادہ سے زیادہ 500 KiB، باقی نظر انداز |
| کیشے | زیادہ سے زیادہ 24 گھنٹے، سوائے اس کے کہ فائل دستیاب نہ ہو | عموماً 24 گھنٹے تک، تازہ کرنا ناکام ہو تو زیادہ |
| ری ڈائریکٹ | کم از کم پانچ کی پیروی | کم از کم پانچ، پھر 404 کی طرح |
| 404 اور دوسرے 4xx | robots.txt نہیں، سب کی اجازت | یہی، سوائے 429 کے |
| 5xx یا دستیاب نہیں | سب کچھ بلاک؛ لمبے عرصے بعد (مثال 30 دن) ایسے جیسے فائل نہ ہو، یا محفوظ شدہ ورژن | 12 گھنٹے کوئی کرالنگ نہیں، پھر 30 دن تک آخری درست ورژن (وہ نہ ہو تو کوئی پابندی نہیں)، اس کے بعد ایسے جیسے فائل نہ ہو، اگر ویب سائٹ باقی طرح دستیاب ہو |
| ہدایات | user-agent، allow، disallow؛ دوسری لائنوں کی تشریح کرالر کر سکتا ہے، مثلاً sitemap | صرف user-agent، allow، disallow اور sitemap؛ noindex، nofollow اور crawl-delay کا 1 ستمبر 2019 سے کوئی اثر نہیں |
| ٹائپنگ کی غلطی، کولن غائب | لائن شمار نہیں ہوتی | کچھ ٹائپنگ غلطیاں جیسے “Disalow” اور بغیر کولن والی لائنیں Google کا پارسر پھر بھی پڑھ لیتا ہے |
| نام کے ساتھ اضافہ | نام صرف حروف، - اور _ پر مشتمل ہوتے ہیں | “googlebot/1.2” اور “googlebot*” کو “googlebot” سمجھا جاتا ہے |
| اُملاؤٹ، خاص حروف | موازنے سے پہلے پرسنٹ انکوڈ کریں | پرسنٹ انکوڈنگ میں موازنہ کرتا ہے |
| سائٹ میپ | کرالر تشریح کر سکتا ہے | پروٹوکول اور ہوسٹ سمیت پورا ایڈریس، کسی دوسرے ہوسٹ پر بھی ہو سکتا ہے |
ماخذ: RFC 9309، robots.txt پر Google (بتاریخ 23 اکتوبر 2026)، 2 جولائی 2019 کا Google بلاگ، Google کا پارسر۔ جانچ کی تاریخ 14 نومبر 2026۔
دوسرے سرچ انجنوں کی اپنی خصوصیات ہیں۔ Bing، Crawl-delay کو مانتا ہے اور bingbot کا اپنا گروپ نہ ہو تو msnbot گروپ پڑھتا ہے؛ Yandex، 22 فروری 2018 سے Crawl-delay کو نہیں مانتا اور “User-agent: Yandex” کے ساتھ اس کے تمام روبوٹس کا ایک گروپ ہے۔ Apple کا کرالر اپنا گروپ نہ ہو تو Googlebot گروپ پر عمل کرتا ہے، Google کے اشتہاری کرالرز عمومی گروپ کو مکمل طور پر نظر انداز کرتے ہیں۔ نیچے والا ٹیبل بتاتا ہے کہ ٹیسٹر ان میں سے کس کا حساب لگاتا ہے۔
04 / کرالرز
robots.txt میں کون سے نام لکھے جائیں
User-agent لائن میں پروڈکٹ ٹوکن لکھا جاتا ہے، یعنی وہ مختصر نام جو آپریٹر robots.txt کے لیے بتاتا ہے: “Googlebot”، نہ کہ پوری شناخت جو سرور لاگ میں ہوتی ہے۔ ٹیسٹر کی فہرست میں صرف وہ نام ہیں جنہیں ان کا آپریٹر دستاویزی طور پر بتاتا ہے، اور خاص راستوں کا حساب صرف وہیں لگایا جاتا ہے جہاں آپریٹر انہیں بیان کرتا ہے۔
| robots.txt میں نام | آپریٹر | کس لیے | خصوصیت |
|---|---|---|---|
| Googlebot | Google سرچ، اے آئی اوور ویوز بھی | اپنا گروپ نہ ہو تو “*” لاگو ہوتا ہے۔ | |
| Googlebot-Image | Google امیجز | اپنا گروپ نہ ہو تو Googlebot گروپ پر عمل کرتا ہے۔ | |
| bingbot | Microsoft | Bing اور Copilot | اپنا گروپ نہ ہو تو msnbot گروپ پر عمل کرتا ہے، اس کے بعد ہی “*”۔ Crawl-delay کو مانتا ہے۔ |
| Applebot | Apple | Siri, Spotlight, Safari | اپنا گروپ نہ ہو تو Googlebot گروپ پر عمل کرتا ہے۔ |
| DuckDuckBot | DuckDuckGo | DuckDuckGo کا اپنا انڈیکس | اپنا گروپ نہ ہو تو “*” لاگو ہوتا ہے۔ |
| YandexBot | Yandex | Yandex سرچ | اپنا گروپ نہ ہو تو Yandex گروپ پر عمل کرتا ہے۔ Crawl-delay کا فروری 2018 سے کوئی اثر نہیں۔ |
| Storebot-Google | Google Shopping | Google کوئی متبادل گروپ نہیں بتاتا؛ ٹیسٹر RFC 9309 کے مطابق “*” سے حساب لگاتا ہے۔ | |
| AdsBot-Google | Google Ads کے لینڈنگ پیجز جانچتا ہے | گروپ “*” کو نظر انداز کرتا ہے۔ اسے صرف اپنے گروپ سے بلاک کیا جا سکتا ہے۔ | |
| Mediapartners-Google | AdSense اور Ad Manager | گروپ “*” کو نظر انداز کرتا ہے۔ اسے صرف اپنے گروپ سے بلاک کیا جا سکتا ہے۔ |
اس کے علاوہ اے آئی کمپنیوں کی 24 شناختیں ہیں، جن میں GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot، Claude-User شامل ہیں۔ 2023 سے ویب سائٹس اے آئی کمپنیوں کو زیادہ سے زیادہ اور بہت مختلف طریقوں سے بلاک کر رہی ہیں، اور اس میں استعمال کی شرائط اور robots.txt اکثر ایک دوسرے سے متضاد ہوتی ہیں Longpre اور دیگر 2024۔ تقریباً 4 ملین ڈومینز کی ایک پیمائش بتاتی ہے کہ اس کام کے لیے robots.txt ہی سب سے اہم ذریعہ ہے اور وہاں اے آئی ایجنٹس پر زیادہ تر Disallow سے پابندی لگائی جاتی ہے Hoffmann اور دیگر 2026۔ کون سا اے آئی کرالر کس مقصد سے پڑھتا ہے، یہ اے آئی کرالر چیک میں درج ہے؛ وہ آپ کی اصل robots.txt بھی ساتھ ہی حاصل کر لیتا ہے۔
05 / جنریٹر
عام صورتوں کے لیے robots.txt لکھیں
جسے robots.txt کی ضرورت ہو، وہ کم ہی تکنیکی اصطلاحات سیکھنا چاہتا ہے۔ 203 فنکاروں کے ایک سروے میں اس فائل کی خواہش زیادہ تھی، لیکن اس کی معلومات اور اپنی ویب سائٹ تک رسائی اکثر نہیں تھی Liu اور دیگر 2025۔ اس لیے جنریٹر صرف یہ پوچھتا ہے کہ کرالرز کیا پڑھیں، اور بغیر پیچیدگی کے سادہ Allow اور Disallow لائنیں لکھتا ہے۔ “ٹیسٹر میں جانچیں” سے متن اوپر ٹیسٹر میں پہنچ جاتا ہے۔
جنریٹر · عام صورتوں کے لیے robots.txt
robots.txt صرف کرالنگ کو کنٹرول کرتی ہے۔ یہ کسی ڈیٹا کی حفاظت نہیں کرتی، کیونکہ اسے ہر کوئی پڑھ سکتا ہے، اور یہ کسی صفحے کو Google انڈیکس سے نہیں نکالتی: بلاک کیا گیا ایڈریس بغیر تفصیل کے نتائج میں آ سکتا ہے، اگر دوسرے صفحات اس کا لنک دیں۔
جنریٹر براؤزر میں چلتا ہے اور کچھ نہیں بھیجتا۔ فائل robots.txt کے نام سے مرکزی ڈائریکٹری میں رکھیں، ہر سب ڈومین کے لیے الگ۔
Sitemap لائن تقریباً ہمیشہ فائدہ مند ہے۔ لنکس کے ذریعے کرالنگ اور سائٹ میپ ایک دوسرے کی تکمیل کرتے ہیں: Google پر اربوں ایڈریسز میں، بغیر آنے والے لنکس والے صفحات اور نیا مواد سائٹ میپ کے ذریعے جلدی نظر میں آئے Schonfeld اور Shivakumar 2009۔ اس لائن کو پورا ایڈریس چاہیے اور یہ تمام گروپس پر لاگو ہوتی ہے۔
06 / حدود
robots.txt کیا نہیں کر سکتی
- یہ انڈیکس سے کچھ نہیں نکالتی۔ Google کے مطابق robots.txt کسی صفحے کو Google سے باہر رکھنے کا ذریعہ نہیں۔ بلاک کیا گیا ایڈریس، جس کا لنک دوسرے صفحات دیں، بغیر تفصیل کے نتائج میں آ سکتا ہے۔ یہ noindex سے نکلتا ہے، اور Google اسے صرف تب دیکھتا ہے جب اسے صفحہ پڑھنے کی اجازت ہو۔
- یہ کسی چیز کی حفاظت نہیں کرتی۔ فائل عوامی ہے اور بلاک کیے گئے پاتھس کی فہرست دیتی ہے؛ RFC واضح طور پر کہتا ہے کہ یہ رسائی کی حفاظت کا متبادل نہیں۔ کوئی کرالر اس پر عمل کرے یا نہیں، یہ اس کے آپریٹر کی صوابدید کا معاملہ ہے Thelwall اور Stuart 2006۔ خفیہ مواد پاس ورڈ کے پیچھے ہونا چاہیے۔
- یہ ایک درخواست ہے۔ پہلے بڑے سرووں نے ہی اس فائل کو ایک ایسا قاعدہ بتایا جس پر شریف کرالرز عمل کرتے ہیں، نفاذ نہیں Sun اور دیگر 2007a۔ 40 دن تک 130 نام والے بوٹس کے تجربات میں بوٹس نے سخت قواعد پر کم عمل کیا، اور اے آئی سرچ کرالرز نے اکثر فائل مانگی ہی نہیں Kim اور دیگر 2025۔
- یہ صرف ناموں پر اثر کرتی ہے۔ بوٹس کو یقینی طور پر پہچانا نہیں جا سکتا، عام طریقوں میں سے کوئی بھی عمومی طور پر قابلِ اعتماد نہیں Doran اور Gokhale 2011۔ جو کسی اور کے نام سے آتا ہے، اس پر کوئی قاعدہ لاگو نہیں ہوتا۔
- سخت پابندیاں سرور پر ہوتی ہیں۔ اے آئی کرالرز کے خلاف ریورس پراکسی پر پابندیاں robots.txt سے زیادہ مؤثر رہیں Liu اور دیگر 2025۔ دوسری طرف کچھ ہوسٹنگ کمپنیاں اور ویب سائٹ بلڈرز کرالرز کو robots.txt کے کام آنے سے پہلے ہی روک دیتے ہیں: Common Crawl کے ایک ڈیٹا سیٹ میں یہ تقریباً 1.68 فیصد ویب سائٹس تھیں Ansar اور دیگر 2025۔ تب بہترین Allow لائن بھی کسی کام کی نہیں۔
- ٹیسٹر آپ کے متن پر حساب لگاتا ہے۔ آپ کا سرور واقعی یہی فائل، اسٹیٹس 200 اور متن کے طور پر، دیتا ہے یا نہیں، یہ اے آئی کرالر چیک اصل درخواست بھیج کر جانچتا ہے۔
ٹیسٹر ایک ابتدائی سوال کا جواب دیتا ہے۔ آپ کے صفحات واقعی Google میں ہیں یا نہیں، اور نہیں تو رکاوٹ کہاں ہے، یہ SpotLens کا کوئیک چیک دکھاتا ہے۔ خود دیکھنے کے پہلے اقدامات گائیڈ ویب سائٹ Google پر نہیں ملتی میں ہیں، اور ہم روڈے وش اور فوگٹ لینڈ میں ویب سائٹس کو کیسے تلاش کے قابل بناتے ہیں، یہ SEO میں۔ تلاش میں نظر آنے کے مزید ٹولز SEO اور ویزیبلٹی میں ہیں۔
07 / اے آئی اسسٹنٹس کے لیے
یہ ٹول کسی اے آئی اسسٹنٹ سے استعمال کریں
Claude یا ChatGPT جیسے اسسٹنٹ، جو Model Context Protocol (MCP) استعمال کرتے ہیں، اس صفحے کا حساب خود دوبارہ بنانے کی بجائے سیدھا یہیں سے چلا سکتے ہیں۔ سرور پبلک ہے، لاگ اِن نہیں مانگتا اور کچھ محفوظ نہیں کرتا۔ جواب میں ہمیشہ اس صفحے کا لنک، ڈیٹا کی تاریخ اور نتیجے کی حدود شامل ہوتی ہیں۔
- اینڈ پوائنٹ
https://aureum-tech.com/mcp- ٹول
werkzeug_robots_txt_tester- ٹرانسپورٹ
- Streamable HTTP، صرف پڑھنے کے لیے
| نام | لازمی | مطلب |
|---|---|---|
robots_txt | ہاں | robots.txt کا مکمل متن، جیسا کہ وہ /robots.txt پر موجود ہے۔ |
pfade | نہیں | زیادہ سے زیادہ 50 پاتھس یا پورے URLs، مثلاً “/kontakt” یا “https://www.firma.de/blog?seite=2”۔ URLs میں سے پاتھ اور Query گنے جاتے ہیں۔ کچھ نہ دیں تو “/”۔ |
crawler | نہیں | کرالرز کے پروڈکٹ ٹوکن، مثلاً Googlebot، bingbot، GPTBot؛ “*” ہر اس کرالر کے لیے جس کا اپنا گروپ نہیں۔ معلوم نام: Googlebot، Googlebot-Image، bingbot، Applebot، DuckDuckBot، YandexBot، Storebot-Google، AdsBot-Google، Mediapartners-Google، GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot، Claude-User، Google-Extended، Google-Agent، PerplexityBot، Perplexity-User، Applebot-Extended، meta-externalagent، meta-webindexer، meta-externalfetcher، Amazonbot، Amzn-SearchBot، Amzn-User، MistralAI-Training، MistralAI-Index، MistralAI-User، DuckAssistBot، YouBot، CCBot، Bytespider، *۔ دوسرے نام RFC 9309 کے مطابق جانچے جاتے ہیں۔ کچھ نہ دیں تو: Googlebot، bingbot، GPTBot، ClaudeBot، *۔ |
ایسے سوالات جن پر اسسٹنٹ کو یہ ٹول چلانا چاہیے
- “کیا Googlebot اس robots.txt کے ساتھ /wp-admin/admin-ajax.php حاصل کر سکتا ہے؟”
- “User-agent: * کے تحت میری پابندی GPTBot پر کیوں لاگو نہیں ہوتی؟”
- “میری robots.txt کی کون سی لائن Bingbot کے لیے https://www.firma.de/shop?sort=preis کو بلاک کرتی ہے؟”
- “کیا میری robots.txt میں ‘Disalow: /intern/’ غلطی ہے، اور کیا Google یہ لائن پھر بھی پڑھتا ہے؟”
کنکشن کیسے کام کرتا ہے اور MCP آپ کے اپنے کاروبار میں کیا کر سکتا ہے، یہ MCP انٹیگریشنز کے صفحے پر لکھا ہے۔
08 / عام سوالات
robots.txt کے بارے میں عام سوالات
کیا “Disallow” کسی صفحے کو Google انڈیکس سے نکال دیتا ہے؟
نہیں۔ Disallow صرف صفحہ حاصل کرنے سے روکتا ہے۔ اگر دوسرے صفحات اس ایڈریس کا لنک دیتے ہیں تو Google اسے پھر بھی نتائج میں شامل کر سکتا ہے، بس بغیر تفصیل کے۔ اگر صفحہ ہٹانا ہو تو Google کو اسے پڑھنے کی اجازت ہونی چاہیے اور وہاں میٹا ٹیگ یا X-Robots-Tag میں noindex ملنا چاہیے؛ ورنہ صفحہ 404 یا 410 واپس کرے یا پاس ورڈ کے پیچھے ہو۔ بلاک اور noindex ایک ساتھ لگانے سے الٹا اثر ہوتا ہے: Google کو noindex کبھی نظر ہی نہیں آتا۔
“User-agent: *” کے تحت میری پابندی Googlebot پر کیوں لاگو نہیں ہوتی؟
کیونکہ Googlebot کا اپنا الگ گروپ موجود ہے۔ کرالر اپنے نام والے گروپ پر عمل کرتا ہے، اور صرف اس صورت میں عمومی گروپ “*” پر جب اپنا گروپ نہ ہو۔ اس لیے جو چیز وہاں بلاک ہے، اسے ہر نام والے گروپ میں بھی لکھنا ضروری ہے۔ ٹیسٹر ہر نتیجے کے ساتھ دکھاتا ہے کہ کون سا گروپ لاگو ہے۔
اگر Allow اور Disallow دونوں ایک ہی پاتھ پر لاگو ہوں تو کون جیتتا ہے؟
لمبا قاعدہ، جو حروف کی تعداد سے گنا جاتا ہے۔ لمبائی برابر ہو تو Allow جیتتا ہے؛ فائل میں ترتیب سے کوئی فرق نہیں پڑتا۔ لہٰذا “Disallow: /shop/” اور “Allow: /shop/angebote/” کے ساتھ /shop/angebote/ کھلا رہتا ہے، شاپ کا باقی حصہ نہیں۔
بدلی ہوئی robots.txt کا Google پر اثر کتنی جلدی ہوتا ہے؟
Google عموماً فائل کو 24 گھنٹے تک محفوظ رکھتا ہے، اور اگر تازہ کرنا ناکام ہو جائے تو اس سے زیادہ بھی۔ تب تک پرانے قواعد لاگو رہتے ہیں۔ اس لیے کوئی تبدیلی پہلے یہاں جانچیں اور اس کے بعد ہی اپ لوڈ کریں۔
کیا میں robots.txt سے خفیہ حصوں کی حفاظت کر سکتا ہوں؟
نہیں۔ یہ فائل عوامی ہے، ہر کوئی اسے کھول سکتا ہے، اور یہ بلاک کیے گئے پاتھس بھی بتا دیتی ہے۔ معیار خود یہی کہتا ہے: یہ رسائی کی حفاظت کا متبادل نہیں۔ خفیہ مواد سرور پر لاگ اِن یا پاس ورڈ کے پیچھے ہونا چاہیے۔
کیا Google robots.txt میں Crawl-delay یا Noindex کو مانتا ہے؟
نہیں۔ Google صرف user-agent، allow، disallow اور sitemap پڑھتا ہے۔ robots.txt میں noindex، nofollow اور crawl-delay کا Google پر 1 ستمبر 2019 سے کوئی اثر نہیں۔ Bing، Crawl-delay کو مانتا ہے، Yandex فروری 2018 سے نہیں مانتا، Applebot بھی نہیں۔ ٹیسٹر ایسی لائنوں کی نشاندہی کرتا ہے۔
robots.txt ٹیسٹر کی حد کہاں ختم ہوتی ہے؟
یہ آپ کے ڈالے ہوئے متن پر RFC 9309 اور کرالرز کی دستاویزی خصوصیات کے مطابق حساب لگاتا ہے۔ آپ کا سرور واقعی یہی فائل دیتا ہے یا نہیں، یہ اے آئی کرالر چیک اصل درخواست بھیج کر جانچتا ہے۔ آپ کے صفحات انڈیکس میں ہیں یا نہیں، اور نہیں تو رکاوٹ کہاں ہے، یہ SpotLens کا کوئیک چیک دکھاتا ہے۔ جو چیز صفحات کو Google سے باہر رکھتی ہے، اسے ہم آپ کی خواہش پر ٹھیک کر دیتے ہیں۔
09 / تحقیقی مطالعے اور مآخذ
اس ٹول کی بنیاد کیا ہے
اوپر دی گئی رہنما قدریں اور نوٹس ان 13 تحقیقی مقالوں پر مبنی ہیں۔ ہر ایک کو اس کے DOI یا پبلشر کے صفحے کے ذریعے جانچا گیا ہے (آخری بار 14 نومبر 2026 کو): یہ موجود ہے، واپس نہیں لیا گیا، اور اس کا نتیجہ آج بھی اس سوال کے لیے کارآمد ہے۔
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007)، صفحات 1123–1124
نتیجہ 7,593 ویب سائٹس کے پانچ مسلسل سروے دکھاتے ہیں کہ robots.txt کا استعمال بڑھتا جا رہا ہے۔ فائل خود کچھ نافذ نہیں کرتی؛ شریف کرالرز ہی اس پر عمل کرتے ہیں۔
ٹول میں ہر نتیجے کے اوپر یہ انتباہ دکھاتا ہے: robots.txt ایک درخواست ہے، تالا نہیں۔
doi.org/10.1145/1242572.1242726 · کانفرنس پیپر
Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07)، صفحات 149–155
نتیجہ 2,925 robots.txt فائلوں میں بڑے سرچ انجنوں کے کرالرز کو اپنے گروپس کے ذریعے اکثر ترجیح دی گئی، اور یہ ترجیح مارکیٹ میں حصے سے گہرا تعلق رکھتی تھی۔
ٹول میں اسی لیے ٹیسٹر کئی کرالرز کا ساتھ ساتھ موازنہ کرتا ہے اور دکھاتا ہے کہ کون سا گروپ کس پر لاگو ہے: فرق نام والے گروپس سے پیدا ہوتے ہیں۔
doi.org/10.1109/WI.2007.98 · کانفرنس پیپر
Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008)، صفحات 1171–1172
نتیجہ تقریباً 6 ملین ویب سائٹس کے ایک سروے میں، 2007 کے چھوٹے مطالعے کے برعکس، کسی خاص سرچ انجن کو کوئی قابلِ ذکر ترجیح نہیں ملی۔
ٹول میں متن میں واضح کیا گیا ہے کہ ترجیح کے بارے میں نتائج نمونے کے لحاظ سے مختلف ہیں۔ اس لیے ٹیسٹر کوئی رائے نہیں دیتا، بلکہ ہر کرالر کے لیے لاگو گروپ دکھاتا ہے۔
doi.org/10.1145/1367497.1367711 · کانفرنس پیپر
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010)، صفحات 1101–1102
نتیجہ زیادہ تر کمرشل کرالرز قواعد کے مطابق چلے، لیکن کئی نے robots.txt کے بعض قواعد کو بار بار توڑا یا غلط سمجھا۔
ٹول میں اسی لیے ٹیسٹر ان لائنوں کی نشاندہی کرتا ہے جنہیں کرالرز مختلف طرح پڑھتے ہیں، اور جنریٹر صرف سادہ Allow اور Disallow لائنیں لکھتا ہے۔
doi.org/10.1145/1772690.1772824 · کانفرنس پیپر
Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT)، صفحات 668–675
نتیجہ ایسے جال صفحات سے، جن میں ہر ایک پر robots.txt کا الگ قاعدہ تھا، بہت سے کرالرز کا رویہ ناپا گیا۔ ان کی پابندی میں بہت فرق تھا؛ بہت سے تجارتی کرالرز کچھ قواعد کی باقاعدگی سے خلاف ورزی کرتے تھے۔
ٹول میں اس حد کی بنیاد کہ “قاعدہ رویہ نہیں”: کرالر واقعی عمل کرتا ہے یا نہیں، یہ صرف سرور لاگ دکھاتا ہے، ٹیسٹر نہیں۔
doi.org/10.1109/WI-IAT.2010.316 · کانفرنس پیپر
Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13)، صفحات 1771–1779
نتیجہ یہ مقالہ ویب سائٹ مالکان پر کرالنگ کے اثرات کو لاگت، پرائیویسی اور سرور پر بوجھ کے لحاظ سے ترتیب دیتا ہے۔ کوئی کرال مناسب ہے یا نہیں، اس کے لیے کرالر کے آپریٹر کو ہر معاملے میں الگ فیصلہ کرنا ہوتا ہے۔
ٹول میں وضاحت کرتا ہے کہ ٹیسٹر خفیہ حصوں کے لیے Disallow لائن کے بجائے پاس ورڈ کی حفاظت کی طرف کیوں اشارہ کرتا ہے۔
doi.org/10.1002/asi.20388 · تحقیقی جریدہ
Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009)، صفحات 991–1000
نتیجہ Google پر اربوں ایڈریسز میں لنکس کے ذریعے کرالنگ اور سائٹ میپس کا موازنہ دکھاتا ہے کہ دونوں ایک دوسرے کی اچھی تکمیل کرتے ہیں: سائٹ میپس بغیر آنے والے لنکس والے صفحات اور تازہ مواد کو جلدی نظر میں لاتے ہیں۔
ٹول میں اسی لیے ٹیسٹر Sitemap لائنوں کو الگ دکھاتا ہے، جانچتا ہے کہ وہ پورے ایڈریس کے طور پر لکھی ہیں یا نہیں، اور جنریٹر ایک Sitemap لائن ساتھ لکھتا ہے۔
doi.org/10.1145/1526709.1526842 · کانفرنس پیپر
Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2)، صفحات 183–210
نتیجہ بوٹس کی پہچان کے عام طریقوں کا موازنہ دکھاتا ہے کہ ان میں سے کوئی بھی عمومی طور پر قابلِ اعتماد نہیں۔ کچھ بوٹس برا رویہ رکھتے ہیں یا سرور پر کافی بوجھ ڈالتے ہیں۔
ٹول میں اس حد کی بنیاد کہ بوٹس کو یقینی طور پر پہچانا نہیں جا سکتا: قاعدہ صرف ان کرالرز پر اثر کرتا ہے جو اپنا نام بتائیں اور اس پر عمل کریں۔
doi.org/10.1007/s10618-010-0180-z · جائزہ مقالہ
Kim, T.; Bock, K.; Luo, C. وغیرہ (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 541–557
نتیجہ 40 دن تک 130 نام والے بوٹس کے کنٹرولڈ تجربات میں بوٹس نے سخت قواعد پر کم عمل کیا، اور اے آئی سرچ کرالرز نے اکثر robots.txt مانگی ہی نہیں۔
ٹول میں اسی لیے ہر “بلاک” کے ساتھ یہ نوٹ ہے کہ پابندی ایک درخواست ہے، اور جنریٹر میں “سب بلاک کریں” کے ساتھ سرور پر اصل حفاظت لگانے کا مشورہ۔
doi.org/10.1145/3730567.3764471 · کانفرنس پیپر
Longpre, S.; Mahari, R.; Lee, A. وغیرہ (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، صفحات 108042–108087
نتیجہ اے آئی ٹریننگ ڈیٹا کے پیچھے 14,000 ڈومینز کے جائزے میں ایک سال کے اندر بلاکس میں تیز اضافہ، اے آئی کمپنیوں کے درمیان بڑے فرق اور استعمال کی شرائط اور robots.txt کے درمیان اکثر تضاد ملا۔
ٹول میں اسی لیے اے آئی کرالرز الگ الگ منتخب کیے جا سکتے ہیں، اور “ٹریننگ ہاں یا نہیں” کے سوال کے لیے ٹیسٹر اے آئی کرالر چیک کی طرف بھیجتا ہے۔
doi.org/10.52202/079017-3431 · کانفرنس پیپر
Liu, E.; Luo, E.; Shan, S. وغیرہ (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 78–99
نتیجہ پیمائشیں اور 203 فنکاروں کا ایک سروے robots.txt کی بڑی ضرورت دکھاتے ہیں، لیکن تکنیکی معلومات اور اپنی ویب سائٹ تک رسائی میں رکاوٹیں بھی۔ ریورس پراکسی پر پابندیاں زیادہ مؤثر رہیں۔
ٹول میں اسی لیے تکنیکی اصطلاحات کے بغیر عام صورتوں کا جنریٹر، اور یہ نوٹ کہ سخت پابندی کے لیے ہوسٹنگ کمپنی کو شامل کریں۔
doi.org/10.1145/3730567.3732913 · کانفرنس پیپر
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2)، صفحات 29–41
نتیجہ تقریباً 4 ملین ڈومینز کی ایک پیمائش دکھاتی ہے: کرالرز کو رسائی کی اجازت دینے یا روکنے کے لیے robots.txt ہی سب سے اہم ذریعہ ہے۔ وہاں اے آئی ایجنٹس پر زیادہ تر Disallow لائنوں سے پابندی لگائی جاتی ہے۔
ٹول میں وضاحت کرتا ہے کہ ٹیسٹر robots.txt تک کیوں محدود ہے اور اے آئی شناختوں کو سرچ انجنوں کے برابر کیوں جانچتا ہے۔
doi.org/10.1145/3831956.3831960 · تحقیقی جریدہ
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، صفحات 197–214
نتیجہ Common Crawl کے ایک سنیپ شاٹ میں تقریباً 1.68 فیصد ویب سائٹس نے کرالر کو صراحتاً روکا، اکثر بڑی ہوسٹنگ کمپنیوں اور ویب سائٹ بلڈرز کے ذریعے، بلاک سے لے کر تصدیقی صفحے تک۔
ٹول میں اسی لیے یہ حد کہ اجازت دینے والی robots.txt کا کوئی فائدہ نہیں، اگر ہوسٹنگ کمپنی یا بوٹ پروٹیکشن کرالر کو پہلے ہی روک دے۔
doi.org/10.1007/978-3-031-85960-1_9 · کانفرنس پیپر
معیارات، سرکاری ادارے اور مینوفیکچررز کی معلومات
- RFC 9309: Robots Exclusion Protocol · IETF، ستمبر 2022
- How Google interprets the robots.txt specification · Google Search Central، بتاریخ 23 اکتوبر 2026
- Introduction to robots.txt · Google Search Central
- Block Search indexing with noindex · Google Search Central
- A note on unsupported rules in robots.txt · Google Search Central Blog، 2 جولائی 2019
- Google common crawlers · Google Search Central
- Google special-case crawlers (AdsBot, Mediapartners) · Google Search Central
- google/robotstxt: Google کا robots.txt پارسر (ٹائپنگ غلطیاں، Googlebot-Image) · Google، GitHub
- To crawl or not to crawl, that is BingBot’s question · Bing Webmaster Blog، 3 مئی 2012
- About Applebot · Apple، بتاریخ 4 ستمبر 2026
- DuckDuckBot · DuckDuckGo
- The User-agent directive · Yandex Webmaster
- The Crawl-delay directive · Yandex Webmaster
- WordPress: do_robots() in wp-includes/functions.php · WordPress, GitHub
10 / مزید ٹولز
کوئی سوال ابھی باقی ہے؟
- AT-W42 · کاروبار
سنیپٹ پریویو
آپ کا صفحہ Google پر کیسا نظر آتا ہے؟ ٹائٹل اور ڈسکرپشن پکسل چوڑائی کے ساتھ، ڈیسک ٹاپ اور موبائل کے لیے۔ - AT-W43 · کاروبار
سکیما جنریٹر
آپ کے کاروبار کے لیے سٹرکچرڈ ڈیٹا: LocalBusiness، کھلنے کے اوقات اور FAQ بطور JSON-LD، سیدھا پیسٹ کرنے کے لیے۔ - AT-W44 · کاروبار
بزنس پروفائل چیک
کیا آپ کا Google بزنس پروفائل مکمل ہے؟ جو کمی ہے، وہ اثر کے حساب سے ترتیب میں۔ - AT-W45 · کاروبار
NAP چیک
کیا نام، پتہ اور فون نمبر ہر جگہ ایک جیسے لکھے ہیں؟ ڈائریکٹریوں کے اندراجات کا موازنہ کریں۔ - AT-W46 · کاروبار
کی ورڈ سارٹر
کون سے کی ورڈز ایک ساتھ آتے ہیں، اور تلاش کرنے والا چاہتا کیا ہے؟ فہرستیں موضوع اور سرچ انٹینٹ کے حساب سے ترتیب میں۔ - AT-W47 · گھر اور کاروبار
ریڈیبلٹی چیک
آپ کی تحریر کتنی آسانی سے سمجھ آتی ہے؟ جرمن زبان کے لیے ریڈیبلٹی انڈیکس، لمبے جملے اور مشکل لفظ نشان زد۔
کاپی کیا ہوا نتیجہ ہمیں بھیجیں۔ ہم آپ کی ویب سائٹ کی robots.txt اور سائٹ میپ جانچتے ہیں اور جو چیز صفحات کو Google سے باہر رکھتی ہے، اسے ٹھیک کرتے ہیں، روڈے وش اور پورے فوگٹ لینڈ میں۔
+49 3744 4399760[email protected]پیر سے جمعہ، 8 سے 17 بجے تک · Straße der Jugend 5, 08228 Rodewisch