ٹول AT-W29REV. 2026-A
اے آئی کرالر چیک: کیا ChatGPT، Claude اور Perplexity آپ کی ویب سائٹ پڑھ سکتے ہیں؟
کوئی اے آئی اسسٹنٹ آپ کی ویب سائٹ پڑھ سکتا ہے یا نہیں، یہ robots.txt میں لکھا ہوتا ہے: ہر کرالر کا اپنا گروپ، ورنہ عمومی قاعدہ “User-agent: *” لاگو ہوتا ہے۔ اصل بات مقصد کی ہے۔ GPTBot اور ClaudeBot ٹریننگ کے لیے جمع کرتے ہیں، OAI-SearchBot اور Claude-SearchBot اے آئی سرچ کے لیے، اور ChatGPT-User اس وقت صفحہ لاتا ہے جب کوئی چیٹ میں پوچھے۔ یہ چیک 27 کرالرز کے لیے آپ کے قواعد پڑھتا ہے، llms.txt جانچتا ہے اور آپ کے لیے مناسب بلاک لکھ دیتا ہے۔
- مفت
- رجسٹریشن کے بغیر
- 5 منٹ کا کیش
01 / فیچ
ڈومین درج کریں، ہر کرالر کی رسائی دیکھیں
فیچ · robots.txt، llms.txt اور ہوم پیج
یہ چیک قواعد کو ویسے ہی پڑھتا ہے جیسے وہ آج سرور پر موجود ہیں، اور RFC 9309 کے مطابق ان کا جائزہ لیتا ہے۔ کوئی کرالر ان پر عمل کرے یا نہیں، یہ اس کا آپریٹر طے کرتا ہے۔
فیچ کے بغیر: robots.txt کا متن پیسٹ کریں
مثلاً ایسی فائل کے لیے جو ابھی آن لائن نہیں۔ متن براؤزر میں ہی رہتا ہے؛ اوپر والا پاتھ لاگو ہوتا ہے۔
02 / کرالرز
کون سے اے آئی کرالرز ہیں اور وہ کس لیے پڑھتے ہیں
بڑی کمپنیاں ایک نہیں بلکہ کئی کرالرز بھیجتی ہیں، مقصد کے مطابق۔ سیٹ اپ میں یہی سب سے اہم بات ہے: جو “اے آئی” کو باہر کر دے وہ عموماً اے آئی سرچ سے بھی نکل جاتا ہے اور وہاں ماخذ کے طور پر نظر نہیں آتا۔ 2023 سے ویب سائٹس اے آئی کمپنیوں کو بڑھتی ہوئی تعداد میں بلاک کر رہی ہیں، اور بہت مختلف انداز میں؛ محققین کو اس میں استعمال کی شرائط اور robots.txt کے درمیان اکثر تضاد ملا Longpre وغیرہ 2024۔ اسی لیے چیک ہر کرالر کو الگ دکھاتا ہے۔
| نوعیت | اندراجات | یہ کیا کرتے ہیں |
|---|---|---|
| اے آئی سرچ | 11 | وہ انڈیکس بناتا ہے جس سے کوئی اے آئی اسسٹنٹ یا سرچ انجن ماخذ کے ساتھ جوابات لیتا ہے۔ بلاک ہونے پر صفحہ وہاں کم یا بالکل ماخذ کے طور پر نظر نہیں آتا۔ |
| ٹریننگ | 6 | وہ مواد جمع کرتا ہے جس سے لینگویج ماڈلز سیکھتے ہیں۔ پابندی آئندہ ٹریننگ پر اثر کرتی ہے، پہلے سے ٹرین شدہ ماڈلز پر نہیں۔ |
| ٹریننگ کا سوئچ | 2 | الگ کرالر نہیں۔ قاعدہ آپریٹر کو بتاتا ہے کہ کیا وہ پہلے سے حاصل کیا ہوا مواد ٹریننگ کے لیے استعمال کر سکتا ہے۔ |
| صارف کی درخواست پر رسائی | 7 | ایک اکیلا صفحہ اس لیے لاتا ہے کہ کوئی شخص ابھی اس کے بارے میں پوچھ رہا ہے۔ کئی آپریٹرز لکھتے ہیں کہ اس پر robots.txt لاگو نہیں ہوتی یا ہمیشہ نہیں ہوتی۔ |
دو اندراجات پر دوبارہ نظر ڈالنا ضروری ہے۔ Common Crawl خود کوئی ماڈل ٹرین نہیں کرتا، لیکن ویب کا سب سے بڑا مفت دستیاب آرکائیو بناتا ہے، اور یہ بڑے لینگویج ماڈلز کی ابتدائی ٹریننگ کے اہم ترین ذرائع میں سے ہے Baack 2024۔ مثلاً مشہور ٹریننگ کارپس C4 ایسے ہی ایک سنیپ شاٹ سے بنا تھا Dodge وغیرہ 2021۔ اس لیے جو ٹریننگ نہیں چاہتا وہ CCBot کو بھی بلاک کرتا ہے؛ لیکن جو پہلے سے کسی سنیپ شاٹ میں ہے اسے کوئی قاعدہ واپس نہیں لاتا۔ دوسرا Googlebot ہے: یہ فہرست میں اس لیے ہے کہ Google سرچ کے اے آئی اوورویوز اور اے آئی موڈ اسی کے انڈیکس پر بنتے ہیں۔ جو Google پر نظر آنا چاہتا ہے وہ اسے بلاک نہیں کرتا۔
تمام 27 شامل کرالرز
| robots.txt میں نام | آپریٹر | مقصد | robots.txt کا اثر | آپریٹر کیا لکھتا ہے |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | اے آئی سرچ | ہاں، آپریٹر کے مطابق | ChatGPT کی سرچ کو مواد دیتا ہے۔ جو اسے بلاک کرے وہ وہاں جوابات میں ماخذ کے طور پر نظر نہیں آتا۔ |
| Claude-SearchBot | Anthropic | اے آئی سرچ | ہاں، آپریٹر کے مطابق | Claude کی سرچ کے لیے کام کرتا ہے۔ بلاک ہونے پر صفحہ وہاں نتائج میں کم نظر آتا ہے۔ |
| Googlebot | اے آئی سرچ | ہاں، آپریٹر کے مطابق | Google سرچ کا کرالر۔ اے آئی اوورویوز اور اے آئی موڈ بھی اسی انڈیکس سے لیتے ہیں؛ وہاں کنٹرول nosnippet، max-snippet اور noindex سے ہوتا ہے۔ | |
| PerplexityBot | Perplexity | اے آئی سرچ | ہاں، آپریٹر کے مطابق | وہ انڈیکس بناتا ہے جس سے Perplexity ماخذ کے لنکس دیتا ہے۔ آپریٹر کے مطابق ماڈلز کی ٹریننگ کے لیے نہیں۔ |
| Applebot | Apple | اے آئی سرچ | ہاں، آپریٹر کے مطابق | Siri، Spotlight اور Safari کی سرچ کا کرالر۔ Apple کے مطابق یہ ڈیٹا Apple کے ماڈلز کی ٹریننگ میں بھی جا سکتا ہے؛ اس کے لیے Applebot-Extended ہے۔ |
| meta-webindexer | Meta | اے آئی سرچ | ہاں، آپریٹر کے مطابق | Meta AI کی سرچ کے لیے انڈیکس کرتا ہے، تاکہ Meta مواد کا حوالہ اور لنک دے سکے۔ |
| Amzn-SearchBot | Amazon | اے آئی سرچ | ہاں، آپریٹر کے مطابق | Alexa جیسی Amazon مصنوعات میں سرچ کے لیے، Amazon کے مطابق ٹریننگ کے لیے نہیں۔ |
| bingbot | Microsoft | اے آئی سرچ | ہاں، آپریٹر کے مطابق | Bing کا کرالر۔ Microsoft کوئی الگ اے آئی شناخت نہیں بتاتا؛ ٹریننگ اور اے آئی جوابات کی ہدایات فروری 2027 سے Bingbot کے لیے ہیں۔ |
| MistralAI-Index | Mistral | اے آئی سرچ | ہاں، آپریٹر کے مطابق | صرف سرچ انڈیکس کے لیے کرال کرتا ہے، Mistral کے مطابق ٹریننگ کے لیے نہیں۔ |
| DuckAssistBot | DuckDuckGo | اے آئی سرچ | ہاں، آپریٹر کے مطابق | DuckDuckGo کے اے آئی جوابات کے لیے صفحات فوری طور پر لاتا ہے، ماخذ کے حوالے کے ساتھ۔ آپریٹر کے مطابق ٹریننگ کے لیے نہیں۔ |
| YouBot | You.com | اے آئی سرچ | ہاں، آپریٹر کے مطابق | You.com سرچ انجن کا کرالر۔ robots.txt اور Crawl-delay دونوں کی پابندی کرتا ہے۔ |
| GPTBot | OpenAI | ٹریننگ | ہاں، آپریٹر کے مطابق | وہ مواد جمع کرتا ہے جو OpenAI کے ماڈلز کی ٹریننگ میں جا سکتا ہے۔ OpenAI کے مطابق بلاک کا مطلب ہے: ٹریننگ کے لیے استعمال نہ کرو۔ |
| ClaudeBot | Anthropic | ٹریننگ | ہاں، آپریٹر کے مطابق | وہ مواد جمع کرتا ہے جو Anthropic کے ماڈلز کی ٹریننگ میں جا سکتا ہے۔ Anthropic robots.txt اور Crawl-delay کی بھی پابندی کرتا ہے۔ |
| meta-externalagent | Meta | ٹریننگ | ہاں، آپریٹر کے مطابق | اے آئی ماڈلز کی ٹریننگ اور Meta کی مصنوعات کے لیے جمع کرتا ہے۔ |
| Amazonbot | Amazon | ٹریننگ | ہاں، آپریٹر کے مطابق | Amazon کی مصنوعات بہتر کرتا ہے، اس میں Amazon کے اے آئی ماڈلز کی ٹریننگ بھی شامل ہو سکتی ہے۔ Crawl-delay کی پابندی نہیں کرتا۔ |
| MistralAI-Training | Mistral | ٹریننگ | ہاں، آپریٹر کے مطابق | Mistral ماڈلز کے ٹریننگ ڈیٹا کے لیے مواد جمع کرتا ہے۔ |
| CCBot | Common Crawl | ٹریننگ | ہاں، آپریٹر کے مطابق | ویب کا ایک کھلا آرکائیو بناتا ہے۔ Common Crawl خود کچھ ٹرین نہیں کرتا، لیکن یہ آرکائیو ٹریننگ ڈیٹا کے اہم ترین ذرائع میں سے ہے۔ |
| Google-Extended | ٹریننگ کا سوئچ | ہاں، آپریٹر کے مطابق | الگ کرالر نہیں بلکہ ایک سوئچ: کیا Google کا حاصل کیا ہوا مواد آئندہ Gemini ماڈلز کی ٹریننگ اور Gemini جوابات کی گراؤنڈنگ میں جا سکتا ہے؟ Google کے مطابق اس کا Google سرچ پر کوئی اثر نہیں۔ | |
| Applebot-Extended | Apple | ٹریننگ کا سوئچ | ہاں، آپریٹر کے مطابق | الگ کرالر نہیں۔ بلاک ہونے پر Apple یہ مواد اپنے ماڈلز کی ٹریننگ کے لیے استعمال نہیں کرتا؛ صفحہ سرچ میں رہتا ہے۔ |
| ChatGPT-User | OpenAI | صارف کی درخواست پر رسائی | ہمیشہ نہیں | جب کوئی ChatGPT میں اس کے بارے میں پوچھے تو صفحہ لاتا ہے۔ OpenAI کے مطابق اس پر robots.txt کے قواعد شاید لاگو نہ ہوں۔ |
| Claude-User | Anthropic | صارف کی درخواست پر رسائی | ہاں، آپریٹر کے مطابق | جب صارفین Claude میں سوال کریں تو صفحات لاتا ہے۔ Anthropic لکھتا ہے کہ اس کے بوٹس robots.txt کی پابندی کرتے ہیں۔ |
| Google-Agent | صارف کی درخواست پر رسائی | ہمیشہ نہیں | صارف کی طرف سے براؤز کرتا ہے اور کام انجام دیتا ہے۔ Google کے مطابق صارف کی درخواست پر رسائیاں عموماً robots.txt کو نظرانداز کرتی ہیں۔ | |
| Perplexity-User | Perplexity | صارف کی درخواست پر رسائی | ہمیشہ نہیں | جب صارف پوچھے تو صفحات لاتا ہے۔ Perplexity کے مطابق عموماً robots.txt کو نظرانداز کرتا ہے۔ |
| meta-externalfetcher | Meta | صارف کی درخواست پر رسائی | ہمیشہ نہیں | صارف کی درخواست پر اکیلے لنکس لاتا ہے، اے آئی ایجنٹس کے لیے بھی۔ Meta کے مطابق robots.txt کو بائی پاس کر سکتا ہے۔ |
| Amzn-User | Amazon | صارف کی درخواست پر رسائی | ہمیشہ نہیں | صارف کے سوال کے لیے تازہ ڈیٹا لاتا ہے، مثلاً Alexa سے پوچھے گئے سوال کے لیے۔ Amazon کے مطابق robots.txt کے تمام قواعد کی پابندی نہیں کرتا۔ |
| MistralAI-User | Mistral | صارف کی درخواست پر رسائی | ہاں، آپریٹر کے مطابق | جب صارف پوچھے تو صفحہ لاتا ہے اور اسے ماخذ کے طور پر لنک کرتا ہے۔ Mistral کے مطابق robots.txt گروپ طے کرتا ہے کہ اس کے لیے کون سے صفحات استعمال ہو سکتے ہیں۔ |
| Bytespider | ByteDance | غیر واضح | ثابت نہیں | آپریٹر کی کوئی ڈاکیومنٹیشن نہیں ملی۔ مقصد اور robots.txt کے ساتھ رویہ ثابت نہیں۔ |
شامل نہیں: بوٹ ڈائریکٹریز کے وہ نام جو آپریٹر خود نہیں بتاتا (مثلاً anthropic-ai یا cohere-ai)۔ Cohere اپنی ڈاکیومنٹیشن کے مطابق فی الحال کوئی کرالر نہیں چلاتا؛ Microsoft کوئی الگ اے آئی شناخت نہیں بتاتا، اس کی اے آئی ہدایات bingbot کے لیے ہیں۔ بتاریخ 14 نومبر 2026۔
03 / جنریٹر
ٹریننگ روکیں، اے آئی سرچ کی اجازت دیں: مناسب بلاک
زیادہ تر کاروبار ایک ہی چیز چاہتے ہیں: ChatGPT، Claude یا Perplexity کے جوابات میں ماخذ کے طور پر نظر آنا، لیکن بغیر پوچھے ٹریننگ کا مواد نہ دینا۔ جنریٹر پہلے سے اسی پر سیٹ ہے۔ یہ ہر گروپ الگ لکھتا ہے اور صرف Allow اور Disallow کے ساتھ، بغیر وائلڈ کارڈ کے، کیونکہ کمرشل کرالرز بھی بعض قواعد کو بار بار غلط سمجھتے ہیں Giles وغیرہ 2010۔ یہ بلاک آپ اپنی موجودہ robots.txt میں پیسٹ کریں؛ گروپ “User-agent: *” جیسا ہے ویسا رہتا ہے۔
جنریٹر · robots.txt بلاک
جنریٹر براؤزر میں چلتا ہے اور کچھ نہیں بھیجتا۔
جنریٹر · llms.txt ڈھانچہ
براؤزر میں چلتا ہے۔ فائل llms.txt کے نام سے ویب سائٹ کی مرکزی ڈائریکٹری میں جاتی ہے۔
سب سے عام غلطی: گروپس کچھ وراثت میں نہیں لیتے
کرالر بالکل اسی گروپ پر عمل کرتا ہے جس میں اس کا نام ہو۔ اگر ایسا گروپ موجود ہے تو عمومی قاعدہ اس پر لاگو نہیں ہوتا، جزوی طور پر بھی نہیں۔ دائیں طرف کی مثال میں “User-agent: *” حصہ /intern/ بلاک کرتا ہے، لیکن GPTBot کو “Allow: /” کے ساتھ اپنا گروپ ملتا ہے۔
/intern/preise کا نتیجہ: ClaudeBot بلاک ہے (سطر 2: Disallow: /intern/ (گروپ *))، جبکہ GPTBot پڑھ سکتا ہے (سطر 5: Allow: / (گروپ GPTBot))۔ اس لیے جو سب کے لیے بلاک ہونا چاہیے وہ ہر نام والے گروپ میں لکھنا ہوگا۔ جنریٹر میں آپ ایسے حصے ایک بار لکھتے ہیں، وہ انہیں ہر جگہ دہرا دیتا ہے۔
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
مشترکہ ٹریننگ سگنل
30 اکتوبر 2026 سے IETF میں ایک مسودہ ہے جو الگ الگ بلاک کرنے کا کام مختصر کرنا چاہتا ہے: “Disallow: /” کے ساتھ گروپ “User-agent: __usage_ai-training” تمام شریک کمپنیوں کو ایک ساتھ بتا دیتا ہے کہ آپ ٹریننگ نہیں چاہتے۔ پاتھ عام طرح کام کرتے ہیں، “Allow: /presse/” پریس کٹ کو مستثنیٰ کرتا ہے۔ یہ گروپ کرالنگ کی ہدایت نہیں، اور عمومی قاعدہ “User-agent: *” اس کے لیے صراحتاً شمار نہیں ہوتا۔ چونکہ مسودہ نیا ہے اور ابھی ہر کمپنی اسے نہیں پڑھتی، جنریٹر دونوں لکھتا ہے: الگ گروپس بھی اور سگنل بھی۔
| فراہم کنندہ | کب سے |
|---|---|
| Anthropic | 30 اکتوبر 2026 سے؛ ClaudeBot نام والا گروپ مقدم ہے |
| Microsoft (Bing) | یکم فروری 2027 سے |
| 2027 کے لیے منصوبہ؛ Google-Extended کا الگ گروپ نہ ہو تو Google “نہیں” کو بلاک شدہ Google-Extended جیسا سمجھے گا | |
| OpenAI | “آنے والے مہینوں میں”؛ GPTBot کے قواعد برقرار رہیں گے |
ماخذ: draft-kelley-aipref-training-preference-signal-00، کوئی سٹینڈرڈ درجہ نہیں، 3 مئی 2027 کو ختم ہو جائے گا۔ بتاریخ 14 نومبر 2026۔
04 / قواعد
کرالر آپ کی robots.txt کیسے پڑھتا ہے
ستمبر 2022 سے یہ طریقہ RFC 9309 کے طور پر طے ہے، اور چیک بھی اسی کے مطابق حساب کرتا ہے۔ فائل ہمیشہ مرکزی ڈائریکٹری میں /robots.txt پر ہوتی ہے اور صرف اسی ہوسٹ پر لاگو ہوتی ہے: اگر ihre-firma.de آگے www.ihre-firma.de پر بھیجتا ہے تو www. والی فائل شمار ہوتی ہے۔ کرالر اپنے نام والا گروپ ڈھونڈتا ہے، چھوٹے بڑے حروف سے فرق نہیں پڑتا؛ اگر نہ ملے تو “User-agent: *” لیتا ہے، اور اگر وہ بھی نہ ہو تو سب کچھ پڑھ سکتا ہے۔ گروپ کے اندر سب سے لمبا مماثل قاعدہ جیتتا ہے، برابری پر Allow۔ ستارہ کسی بھی حروف کی جگہ ہے، آخر میں ڈالر کا نشان ایڈریس کے اختتام کے لیے۔
2007 میں ہی 7,593 ویب سائٹس کے ایک جائزے نے دکھایا کہ یہ فائل زیادہ سے زیادہ استعمال ہو رہی ہے، اور یہ بھی کہ یہ کیا ہے: ایک قاعدہ جس پر شریف کرالرز عمل کرتے ہیں، کوئی زبردستی نہیں Sun وغیرہ 2007۔ اس میں آج تک کچھ نہیں بدلا۔
| جواب | RFC 9309 | |
|---|---|---|
| 200، ٹیکسٹ فائل | قواعد لاگو ہیں، کم از کم 500 KiB پڑھے جاتے ہیں | یہی، 500 KiB کے بعد سب نظرانداز |
| 200، لیکن ایک ویب پیج | کوئی درست سطر نہیں، یعنی کوئی قاعدہ نہیں | یہی |
| 404 اور دوسرے 4xx | robots.txt نہیں، سب کی اجازت | سب کی اجازت، سوائے 429 کے |
| 429 بہت زیادہ درخواستیں | 4xx کی طرح | سرور کی خرابی کی طرح |
| 5xx یا دستیاب نہیں | سب بلاک | 12 گھنٹے کوئی کرالنگ نہیں، پھر 30 دن تک آخری درست ورژن |
| ری ڈائریکٹ | کم از کم پانچ کی پیروی | کم از کم پانچ، پھر 404 کی طرح |
Google یہ فائل عموماً 24 گھنٹے تک محفوظ رکھتا ہے، Amazon 30 دن تک۔ اس لیے تبدیلیاں فوراً اثر نہیں کرتیں۔ ہماری فیچ زیادہ سے زیادہ تین ری ڈائریکٹس کی پیروی کرتی ہے۔ بتاریخ 14 نومبر 2026۔
خود صفحات پر موجود ہدایات
robots.txt کے علاوہ ہر صفحے کی اپنی ہدایات ہوتی ہیں، ہیڈ میں میٹا ٹیگ کے طور پر یا سرور کے جواب میں X-Robots-Tag کے طور پر۔ چیک انہیں ہوم پیج پر پڑھتا ہے۔ اے آئی کے لیے خاص طور پر یہ اہم ہیں: noindex صفحے کو سرچ انڈیکس سے اور یوں اے آئی اوورویوز سے بھی نکال دیتا ہے، nosnippet Google پر ٹیکسٹ کا اقتباس روکتا ہے، اے آئی اوورویوز اور اے آئی موڈ میں بھی۔ Amazon noarchive کو “ٹریننگ کے لیے نہیں” سمجھتا ہے۔ Microsoft یکم فروری 2027 سے ٹریننگ اور گراؤنڈنگ کے لیے اپنی ہدایات (ai-training، ai-grounding) متعارف کر رہا ہے اور مارچ 2027 سے noarchive اور nocache کو اے آئی ہدایت کے طور پر نہیں پڑھے گا۔ “noai” جیسی ہدایات عام ہیں، لیکن ہماری فہرست کے کسی آپریٹر نے انہیں دستاویزی شکل میں نہیں بتایا۔
05 / حدود
robots.txt کیا نہیں کر سکتی
- یہ ایک درخواست ہے۔ 130 نام والے بوٹس کے ساتھ 40 دن کے تجربات میں بوٹس نے سخت قواعد پر کم عمل کیا، اور اے آئی سرچ کرالرز نے اکثر فائل دیکھی ہی نہیں Kim وغیرہ 2025۔
- یہ صرف ناموں پر اثر کرتی ہے۔ خاص طور پر تیار کی گئی ویب سائٹس سے ثابت کیا جا سکا کہ کون سا رسائی کرنے والا کس اے آئی سسٹم کو مواد دیتا ہے، ان میں کئی ایسے بھی جنہیں ان کا آپریٹر ظاہر نہیں کرتا Seiden وغیرہ 2026۔ جو کسی اور کے نام سے آئے اس پر کوئی قاعدہ لاگو نہیں ہوتا۔
- صارف کی درخواست پر رسائیاں کبھی کبھی بائی پاس کرتی ہیں۔ OpenAI، Perplexity، Meta، Amazon اور Google خود لکھتے ہیں کہ صارف کی درخواست پر ان کی رسائیاں ہمیشہ robots.txt کی پابندی نہیں کرتیں۔ Anthropic اور Mistral اس کے لیے بھی اسی فائل کو کنٹرول کا ذریعہ بتاتے ہیں۔
- سخت بلاک سرور پر ہوتا ہے۔ فنکاروں کے پاس robots.txt کے لیے اکثر معلومات یا اپنی ویب سائٹ تک رسائی نہیں تھی، Reverse-Proxy پر بلاک زیادہ مؤثر ثابت ہوئے Liu وغیرہ 2025۔ دوسری طرف کچھ ہوسٹنگ کمپنیاں اور ویب سائٹ بلڈرز مالک کو بتائے بغیر کرالرز بلاک کر دیتے ہیں: Common Crawl کے ایک سنیپ شاٹ میں تقریباً 1.68 فیصد ویب سائٹس نے کرالر کو صراحتاً روکا Ansar وغیرہ 2025۔ اگر آپ کا ہوم پیج ہماری فیچ کو کسی تصدیقی صفحے سے جواب دے تو چیک یہ بتا دیتا ہے۔
- ہماری فیچ کوئی اے آئی کرالر نہیں۔ سرور اپنی شناخت سے فیچ کرتا ہے۔ اگر کوئی فائر وال کرالرز کو نام سے بلاک کرتی ہے، مثلاً Cloudflare کی کسی سیٹنگ سے، تو چیک یہ نہیں دیکھ پاتا۔
اور قانونی طور پر؟
§ 44b Abs. 3 UrhG کے مطابق آزادانہ دستیاب مواد پر ٹیکسٹ اور ڈیٹا مائننگ کی اجازت ہے، جب تک حقوق کا مالک اسے اپنے لیے محفوظ نہ کرے، اور انٹرنیٹ پر مواد کے لیے صرف مشین پڑھنے کے قابل شکل میں حق محفوظ رکھنا شمار ہوتا ہے۔ robots.txt مشین ریڈایبل ہے، لیکن کیا یہ حق محفوظ رکھنے کے لیے کافی ہے، یہ حتمی طور پر طے نہیں ہوا۔ ایک قانونی تحقیقی مقالہ Common Law ممالک کے لیے دلیل دیتا ہے کہ اس فائل کو نظرانداز کرنا بعض حالات میں ذمہ داری پیدا کر سکتا ہے Chang اور He 2025؛ جرمنی کے لیے اسے الگ سے جانچنا ہوگا۔ جو تحفظ کا اعلان کرنا چاہے وہ اسے قانونی معلومات (Impressum) یا استعمال کی شرائط میں بھی لکھے۔ یہ قانونی مشورہ نہیں ہے۔
06 / llms.txt
llms.txt: یہ فائل کیا کر سکتی ہے اور کیا نہیں
llms.txt کی تجویز Jeremy Howard نے 3 ستمبر 2024 کو دی، اس کی تفصیل llmstxt.org پر ہے۔ یہ /llms.txt پر ایک Markdown فائل ہے: نام کے ساتھ ایک سرخی، جو واحد لازمی حصہ ہے، پھر اقتباس کی صورت میں مختصر تعارف، چاہیں تو چند جملے، اور اہم ترین صفحات کے لنکس کی فہرستوں والے حصے۔ “Optional” نام کا حصہ وہ چیزیں رکھتا ہے جو اسسٹنٹ چھوڑ سکتا ہے۔
تقریباً 4 ملین ڈومینز کی ایک پیمائش میں یہ فائل زیادہ تر ٹیکنالوجی کمپنیوں کے ہاں ملی، اور اس کے کچھ لنکس ایسے صفحات کی طرف تھے جنہیں اپنی ہی robots.txt بلاک کرتی ہے Hoffmann وغیرہ 2026۔ یہی چیک جانچتا ہے۔ بلاک شدہ صفحات کی طرف اشارہ کرنے والا راہنما کہیں نہیں لے جاتا۔
سچ پوچھیں تو: Google اے آئی اوورویوز کی ڈاکیومنٹیشن میں لکھتا ہے کہ اس کے لیے کوئی نئی مشین ریڈایبل فائل بنانے کی ضرورت نہیں، اور یہاں شامل کسی آپریٹر نے اپنی کرالر ڈاکیومنٹیشن میں نہیں لکھا کہ وہ دوسری ویب سائٹس کی llms.txt پڑھتا ہے۔ یعنی یہ نظر آنے کا کوئی ذریعہ نہیں۔ پھر بھی یہ مفید ہے، ایک مختصر اور صاف تعارف کے طور پر جو اسسٹنٹ صارف کی درخواست پر پڑھ سکتا ہے، اور اس لیے کہ یہ دس منٹ میں تیار ہو جاتی ہے۔
ہماری اپنی فائل aureum-tech.com/llms.txt پر ہے۔ آپ کی فائل کا ڈھانچہ اوپر والا جنریٹر بناتا ہے۔
07 / نمایاں ہونا
پڑھنے کی اجازت کا مطلب یہ نہیں کہ آپ کا نام بھی آئے گا
یہ چیک ایک ابتدائی سوال کا جواب دیتا ہے۔ جب کوئی پلاؤن (Plauen) میں الیکٹریشن کے بارے میں پوچھے تو ChatGPT آپ کی کمپنی کا نام لے گا یا نہیں، یہ آپ کے صفحات کے مواد اور اس پر منحصر ہے جو دوسرے آپ کے بارے میں لکھتے ہیں۔ تجربات میں مواد کی بہتر ترتیب سے اے آئی جوابات میں ماخذ کی نمایاں حیثیت 40 فیصد تک بڑھائی جا سکی، شعبے کے لحاظ سے مختلف طریقوں سے Aggarwal وغیرہ 2024۔ Google پر 55,393 سرچز کی ایک پیمائش میں 13.7 فیصد معاملات میں اے آئی اوورویو آیا، سوالات میں 64.7 فیصد میں، اور وہاں حوالہ دیے گئے تقریباً 30 فیصد ڈومینز پہلے صفحے کے نتائج میں نہیں تھے Xu وغیرہ 2026۔
نام آنے کا مطلب درست حوالہ بھی نہیں۔ چار اے آئی سرچ انجنوں میں اوسطاً صرف آدھے سے کچھ زیادہ جملے بتائے گئے ماخذ سے ثابت ہوتے تھے Liu وغیرہ 2023۔ اور جو Google کا اے آئی کرالر بلاک کرے وہ اے آئی اوورویوز میں کم بار ماخذ بنتا ہے، حالانکہ Google لکھتا ہے کہ یہ سوئچ سرچ پر اثر نہیں کرتا Grossman وغیرہ 2026۔
آپ کی کمپنی ChatGPT، Perplexity اور Google کی اے آئی میں واقعی کتنی نظر آتی ہے، یہ SpotLens کا کوئیک چیک دکھاتا ہے۔ ہم مواد اور سٹرکچرڈ ڈیٹا کیسے بناتے ہیں کہ اے آئی سرچ ان کا حوالہ دے، یہ AI-SEO کے تحت لکھا ہے۔ جو پہلے خود دیکھنا چاہے اسے گائیڈ میں ملے گا کہ ChatGPT میں نمایاں ہونا کیسے چیک کریں اور کمپنیوں کے لیے اے آئی میں نمایاں ہونا کیا ہے۔ اکیلے قواعد آپ robots.txt ٹیسٹر میں جانچ سکتے ہیں، اور سرچ میں نظر آنے کے مزید ٹولز SEO اور نمایاں ہونا کے تحت ہیں۔
08 / تحقیق
تحقیق اس بارے میں کیا کہتی ہے
چیک میں درجہ بندی 15 جانچے گئے تحقیقی مقالوں پر مبنی ہے۔ اہم ترین نتائج اور جانچ کے نوٹ کے ساتھ مکمل فہرست نیچے دی گئی ہے۔
- بلاک بڑھ رہے ہیں، اور یکساں نہیں۔ ایک سال کے اندر اے آئی ٹریننگ ڈیٹا کے ذرائع کا بڑا حصہ بلاک ہو گیا، کمپنی کے لحاظ سے مختلف Longpre وغیرہ 2024۔ اسی لیے چیک کرالرز کو الگ الگ دکھاتا ہے۔
- قواعد پر چن چن کر عمل ہوتا ہے۔ قاعدہ جتنا سخت، بوٹس نے اس پر اتنا ہی کم عمل کیا Kim وغیرہ 2025۔ اسی لیے چیک وہ چیز نہیں ناپتا جو ناپ نہیں سکتا، اور یہ بتا دیتا ہے۔
- ٹریننگ آرکائیوز کے ذریعے ہوتی ہے۔ Common Crawl ابتدائی ٹریننگ کے اہم ترین ذرائع میں سے ہے Baack 2024، اور C4 جیسے کارپس الگ الگ سنیپ شاٹس سے بنتے ہیں Dodge وغیرہ 2021۔ اسی لیے اگر CCBot کھلا رہے تو چیک خبردار کرتا ہے۔
- اے آئی اوورویوز اپنے ماخذ خود چنتے ہیں۔ حوالہ دیے گئے بہت سے ڈومینز پہلے صفحے پر نہیں ہوتے Xu وغیرہ 2026، اور بلاک شدہ اے آئی کرالرز کے ساتھ حوالے کم ہوتے ہیں Grossman وغیرہ 2026۔
- llms.txt نئی ہے اور اکثر متضاد ہوتی ہے۔ فائل کے کچھ لنکس بلاک شدہ صفحات کی طرف جاتے ہیں Hoffmann وغیرہ 2026؛ چیک ہر اپنا لنک جانچتا ہے۔
09 / اے آئی اسسٹنٹس کے لیے
یہ ٹول کسی اے آئی اسسٹنٹ سے استعمال کریں
Claude یا ChatGPT جیسے اسسٹنٹ، جو Model Context Protocol (MCP) استعمال کرتے ہیں، اس صفحے کا حساب خود دوبارہ بنانے کی بجائے سیدھا یہیں سے چلا سکتے ہیں۔ سرور پبلک ہے، لاگ اِن نہیں مانگتا اور کچھ محفوظ نہیں کرتا۔ جواب میں ہمیشہ اس صفحے کا لنک، ڈیٹا کی تاریخ اور نتیجے کی حدود شامل ہوتی ہیں۔
- اینڈ پوائنٹ
https://aureum-tech.com/mcp- ٹول
werkzeug_ki_crawler_check- ٹرانسپورٹ
- Streamable HTTP، صرف پڑھنے کے لیے
| نام | لازمی | مطلب |
|---|---|---|
domain | نہیں | ویب سائٹ کا ڈومین، مثلاً ihre-firma.de یا https://www.ihre-firma.de۔ پاتھ نظرانداز ہوتا ہے، robots.txt ہمیشہ مرکزی ڈائریکٹری میں ہوتی ہے۔ صرف پبلک ویب سائٹس، پورٹ 80 یا 443۔ |
robots_txt | نہیں | ڈومین کے بجائے: robots.txt کا متن، جس کا فیچ کے بغیر جائزہ لیا جاتا ہے۔ domain کے ساتھ نہ دیں۔ |
pfad | نہیں | وہ پاتھ جس کے لیے جانچ ہو، مثلاً /blog/artikel۔ خالی ہو تو ہوم پیج “/”۔ |
ایسے سوالات جن پر اسسٹنٹ کو یہ ٹول چلانا چاہیے
- “کیا ChatGPT میری ویب سائٹ handwerk-muster.de پڑھ سکتا ہے؟”
- “کیا ہماری robots.txt غلطی سے Perplexity اور ChatGPT کی اے آئی سرچ کو بلاک کر رہی ہے؟”
- “اے آئی ٹریننگ کو کیسے روکوں، لیکن ChatGPT اور Claude کی سرچ میں نظر آتا رہوں؟”
- “کیا www.beispiel-praxis.de پر llms.txt ہے، اور کیا اس کے لنکس بلاک شدہ صفحات کی طرف جاتے ہیں؟”
کنکشن کیسے کام کرتا ہے اور MCP آپ کے اپنے کاروبار میں کیا کر سکتا ہے، یہ MCP انٹیگریشنز کے صفحے پر لکھا ہے۔
10 / عام سوالات
اے آئی کرالرز، robots.txt اور llms.txt کے بارے میں عام سوالات
ChatGPT کی سرچ سے نکلے بغیر اے آئی ٹریننگ کو کیسے بلاک کروں؟
OpenAI دونوں کو الگ رکھتا ہے: GPTBot ٹریننگ کے لیے مواد جمع کرتا ہے، OAI-SearchBot ChatGPT کی سرچ کے لیے، اور ہر سیٹنگ الگ سے اثر کرتی ہے۔ اس لیے robots.txt میں GPTBot کو “Disallow: /” اور OAI-SearchBot کو “Allow: /” ملتا ہے۔ Anthropic کے ہاں یہی ClaudeBot اور Claude-SearchBot پر لاگو ہوتا ہے، اور Google کے ہاں آپ Google-Extended کو بلاک کرتے ہیں اور Googlebot کو نہیں چھیڑتے۔ اس صفحے کا جنریٹر تمام شامل کمپنیوں کے لیے پورا بلاک لکھ دیتا ہے۔
GPTBot، OAI-SearchBot اور ChatGPT-User میں کیا فرق ہے؟
GPTBot وہ مواد جمع کرتا ہے جو آئندہ ماڈلز کی ٹریننگ میں جا سکتا ہے۔ OAI-SearchBot وہ انڈیکس بناتا ہے جس سے ChatGPT سرچ کے وقت ماخذ بتاتا ہے؛ OpenAI کے مطابق جو اسے بلاک کرے وہ وہاں جوابات میں نظر نہیں آتا۔ ChatGPT-User ایک اکیلا صفحہ اس وقت لاتا ہے جب کوئی چیٹ میں اس کے بارے میں پوچھ رہا ہو۔ OpenAI کے مطابق اس رسائی پر robots.txt کے قواعد شاید لاگو نہ ہوں۔
اگر میں Google-Extended کو بلاک کروں تو کیا میری ویب سائٹ Google سے نکل جائے گی؟
نہیں۔ Google-Extended کوئی الگ کرالر نہیں بلکہ ایک سوئچ ہے: کیا Google حاصل کیا ہوا مواد Gemini کی ٹریننگ اور Gemini کے جوابات کی گراؤنڈنگ کے لیے استعمال کر سکتا ہے۔ Google کے مطابق اس کا سرچ میں شامل ہونے یا رینکنگ پر کوئی اثر نہیں۔ Google سرچ کے اے آئی اوورویوز (AI Overviews) کا تعلق Googlebot اور nosnippet جیسے سنیپٹ قواعد سے ہے۔ البتہ 2026 کی ایک پیمائش میں جن صفحات پر Google کا اے آئی کرالر بلاک تھا وہ اے آئی اوورویوز میں کم بار ماخذ بنے۔
کیا مجھے llms.txt کی ضرورت ہے؟
یہ لازمی نہیں۔ llms.txt ستمبر 2024 میں Jeremy Howard کی تجویز ہے: ایک Markdown فائل جس میں سرخی، مختصر تعارف اور اہم ترین صفحات کے لنکس ہوں۔ Google صاف لکھتا ہے کہ اے آئی اوورویوز کے لیے کسی نئی مشین ریڈایبل فائل کی ضرورت نہیں، اور یہاں شامل کسی آپریٹر نے اپنی کرالر ڈاکیومنٹیشن میں نہیں لکھا کہ وہ اسے پڑھتا ہے۔ نقصان کوئی نہیں، اور یہ جلدی بن جاتی ہے؛ اس کا ڈھانچہ جنریٹر دیتا ہے۔ زیادہ اہم یہ ہے کہ اس کے لنکس بلاک شدہ صفحات کی طرف نہ جائیں۔
کیا ہر کرالر robots.txt کی پابندی کرتا ہے؟
نہیں۔ robots.txt ایک درخواست ہے، تالا نہیں۔ پیمائشیں بتاتی ہیں کہ بوٹس سخت قواعد پر کم عمل کرتے ہیں اور اے آئی سرچ کرالرز اکثر یہ فائل دیکھتے ہی نہیں۔ ChatGPT-User، Perplexity-User یا meta-externalfetcher جیسی صارف کی درخواست پر رسائیاں ان کے آپریٹرز کے مطابق کبھی کبھی robots.txt کو نظرانداز کرتی ہیں، اور جو بغیر نام کے مواد جمع کرے وہ کسی قاعدے میں نہیں آتا۔ جو واقعی بلاک کرنا چاہے اسے سرور پر یا ہوسٹنگ کمپنی کے ہاں بلاک لگانا ہوگا۔
کیا بلاک ان ماڈلز پر بھی لاگو ہوتا ہے جو پہلے سے ٹرین ہو چکے ہیں؟
نہیں۔ OpenAI اور Anthropic بلاک کو آئندہ ٹریننگ کے لیے ہدایت بتاتے ہیں۔ ٹریننگ ڈیٹا ویب کے مقررہ سنیپ شاٹس سے بنتا ہے، مثلاً Common Crawl کے آرکائیو سے؛ جو وہاں پہلے سے موجود ہے وہ وہیں رہتا ہے۔ اس لیے اگر آپ ٹریننگ نہیں چاہتے تو CCBot کو بھی ذہن میں رکھیں۔
“User-agent: __usage_ai-training” کا کیا مطلب ہے؟
یہ 30 اکتوبر 2026 کے ایک IETF مسودے کے مطابق مشترکہ ٹریننگ سگنل ہے۔ اس نام کا گروپ اور “Disallow: /” تمام شریک کمپنیوں کو ایک ساتھ بتا دیتا ہے کہ آپ ٹریننگ نہیں چاہتے۔ Anthropic کے بقول وہ اسے پہلے سے مانتا ہے، Microsoft یکم فروری 2027 سے، Google اسے 2027 میں لانے کا ارادہ رکھتا ہے اور OpenAI آنے والے مہینوں میں۔ یہ کرالنگ کی ہدایت نہیں، اور گروپ “User-agent: *” اس کے لیے صراحتاً شمار نہیں ہوتا۔
اے آئی کرالر چیک کی حد کہاں ہے؟
یہ آپ کی robots.txt کے قواعد، llms.txt اور ہوم پیج کی robots ہدایات پڑھتا ہے اور ہر کرالر کے لیے بتاتا ہے کہ کیا اجازت ہے۔ کوئی کرالر ان پر عمل کرتا ہے یا نہیں، یہ نہیں ناپتا، اور یہ بھی نہیں کہ کوئی اے آئی اسسٹنٹ آپ کی کمپنی کو جانتا اور تجویز کرتا ہے یا نہیں۔ یہ SpotLens کوئیک چیک دکھاتا ہے؛ مواد کیسا ہو کہ اے آئی سرچ اسے حوالہ بنائے، یہ AI-SEO کے تحت لکھا ہے۔ آپ چاہیں تو یہ فائلیں ہم آپ کے لیے سیٹ کر دیتے ہیں۔
11 / تحقیقی مطالعے اور مآخذ
اس ٹول کی بنیاد کیا ہے
اوپر دی گئی رہنما قدریں اور نوٹس ان 15 سائنسی مقالوں پر مبنی ہیں۔ ہر مقالہ اس کے DOI یا پبلشر کے صفحے سے چیک کیا گیا ہے (آخری بار 14 نومبر 2026 کو): وہ موجود ہے، واپس نہیں لیا گیا، اور اس کا نتیجہ اس سوال کے لیے آج بھی درست ہے۔
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007)، صفحات 1123–1124
نتیجہ 7,593 ویب سائٹس پر پانچ جائزے بتاتے ہیں کہ robots.txt زیادہ سے زیادہ استعمال ہو رہی ہے۔ یہ فائل زبردستی نہیں بلکہ ایک قاعدہ ہے جس پر شریف کرالرز عمل کرتے ہیں۔
ٹول میں صفحے کے بنیادی اصول کو پیش کرتا ہے: robots.txt کرالرز سے ایک درخواست ہے، تالا نہیں۔
doi.org/10.1145/1242572.1242726 · کانفرنس پیپر
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010)، صفحات 1101–1102
نتیجہ زیادہ تر کمرشل کرالرز قواعد کے مطابق چلے، لیکن کئی نے robots.txt کے بعض قواعد کو بار بار توڑا یا غلط سمجھا۔
ٹول میں اسی لیے جنریٹر ہر گروپ الگ اور صرف Allow اور Disallow کے ساتھ، بغیر وائلڈ کارڈ کے لکھتا ہے۔
doi.org/10.1145/1772690.1772824 · کانفرنس پیپر
Kim, T.; Bock, K.; Luo, C. وغیرہ (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 541–557
نتیجہ 130 نام والے بوٹس کے ساتھ 40 دن کے کنٹرولڈ تجربات میں بوٹس نے سخت قواعد پر کم عمل کیا؛ اے آئی سرچ کرالرز نے اکثر robots.txt دیکھی ہی نہیں۔
ٹول میں “قواعد پڑھنا، رویہ نہ ناپنا” کی حد اور بلاک شدہ صارف رسائیوں کے نوٹ کو واضح کرتا ہے۔
doi.org/10.1145/3730567.3764471 · کانفرنس پیپر
Liu, E.; Luo, E.; Shan, S. وغیرہ (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 78–99
نتیجہ پیمائشیں اور 203 فنکاروں کا سروے robots.txt کی بڑی ضرورت دکھاتے ہیں، لیکن معلومات اور اپنی ویب سائٹ تک رسائی میں رکاوٹیں بھی۔ Reverse-Proxy پر بلاک زیادہ مؤثر تھے، لیکن کم عام ہیں۔
ٹول میں اسی لیے سخت بلاک کے لیے ہوسٹنگ کمپنی یا پراکسی کو شامل کرنے کا مشورہ دیا جاتا ہے، اور جنریٹر کسی تکنیکی اصطلاح کا علم فرض نہیں کرتا۔
doi.org/10.1145/3730567.3732913 · کانفرنس پیپر
Seiden, S.; Ren, T.; Zhang, C. وغیرہ (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026)، صفحات 6998–7012
نتیجہ خاص طور پر تیار کی گئی ویب سائٹس اور 22 اے آئی سسٹمز سے یہ معلوم کیا جا سکا کہ کون سا رسائی کرنے والا کس ماڈل کو مواد دیتا ہے، ان میں کئی ایسے بھی جنہیں ان کا آپریٹر ظاہر نہیں کرتا۔
ٹول میں اس حد کو واضح کرتا ہے کہ ٹیبل صرف وہ کرالرز جانتی ہے جنہیں ان کا آپریٹر اپنے نام سے دستاویزی شکل دیتا ہے۔
doi.org/10.1145/3830454.3846799 · کانفرنس پیپر
Longpre, S.; Mahari, R.; Lee, A. وغیرہ (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، صفحات 108042–108087
نتیجہ اے آئی ٹریننگ ڈیٹا کے پیچھے 14,000 ڈومینز کے جائزے میں ایک سال کے اندر بلاکس میں تیز اضافہ، اے آئی کمپنیوں کے درمیان بڑے فرق اور استعمال کی شرائط اور robots.txt کے درمیان اکثر تضاد ملا۔
ٹول میں اسی لیے چیک صرف “اے آئی کی اجازت” یا “اے آئی بلاک” بتانے کے بجائے ہر کرالر الگ دکھاتا ہے۔
doi.org/10.52202/079017-3431 · کانفرنس پیپر
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024)، صفحات 2199–2208
نتیجہ Common Crawl ویب ڈیٹا کا سب سے بڑا مفت دستیاب ذخیرہ ہے اور بڑے لینگویج ماڈلز کی ابتدائی ٹریننگ کے اہم ترین ذرائع میں سے ہے، اکثر ٹریننگ مواد میں بڑے حصے کے ساتھ۔
ٹول میں اسی لیے CCBot ٹریننگ کے تحت ہے، اور اگر کچھ ٹریننگ کرالرز بلاک ہوں لیکن CCBot نہیں تو چیک خبردار کرتا ہے۔
doi.org/10.1145/3630106.3659033 · کانفرنس پیپر
Dodge, J.; Sap, M.; Marasović, A. وغیرہ (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021)، صفحات 1286–1305
نتیجہ ٹریننگ کارپس C4 Common Crawl کے ایک ہی سنیپ شاٹ سے بنا اور اس میں پیٹنٹ دستاویزات اور فوجی ویب سائٹس جیسے غیر متوقع ذرائع کے متن شامل ہیں۔
ٹول میں متن میں یہ ثابت کرتا ہے کہ ٹریننگ کارپس مقررہ سنیپ شاٹس سے بنتے ہیں: جو ایک بار وہاں آ گیا، بعد کی پابندی اس تک نہیں پہنچتی۔
doi.org/10.18653/v1/2021.emnlp-main.98 · کانفرنس پیپر
Aggarwal, P.; Murahari, V.; Rajpurohit, T. وغیرہ (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)، صفحات 5–16
نتیجہ مواد کو اس طرح ترتیب دیا جا سکتا ہے کہ اے آئی سرچ انجن اسے 40 فیصد تک زیادہ نمایاں طور پر حوالہ بنائیں؛ کیا کام کرتا ہے، یہ شعبے پر منحصر ہے۔
ٹول میں حد بندی کو واضح کرتا ہے: رسائی شرط ہے، حوالہ دیا جائے یا نہیں یہ مواد طے کرتا ہے۔ اس کے لیے صفحہ AI-SEO کا حوالہ دیتا ہے۔
doi.org/10.1145/3637528.3671900 · کانفرنس پیپر
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023، صفحات 7001–7025
نتیجہ چار اے آئی سرچ انجنوں میں اوسطاً صرف آدھے سے کچھ زیادہ جملے ماخذ سے مکمل طور پر ثابت ہوتے تھے، اور تقریباً ایک چوتھائی حوالے جملے کی تائید نہیں کرتے تھے۔
ٹول میں اس حد کو واضح کرتا ہے کہ آزاد رسائی درست حوالے کی ضمانت نہیں: چیک پڑھنا جانچتا ہے، جواب نہیں۔
doi.org/10.18653/v1/2023.findings-emnlp.467 · کانفرنس پیپر
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026)، صفحات 529–546
نتیجہ 55,393 سرچز میں 13.7 فیصد معاملات میں اے آئی اوورویو آیا، سوالات میں 64.7 فیصد میں۔ حوالہ دیے گئے تقریباً 30 فیصد ڈومینز پہلے صفحے کے نتائج میں نہیں تھے۔
ٹول میں وضاحت کہ Googlebot چیک میں کیوں ہے: اے آئی اوورویوز ماخذ انڈیکس سے چنتے ہیں، لیکن صرف پہلے نتائج سے نہیں۔
doi.org/10.1145/3777912.3839818 · کانفرنس پیپر
Grossman, R.; Liu, S.; Chen, M. K. وغیرہ (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)، صفحات 448–459
نتیجہ 11,500 سرچز میں Google سرچ، اے آئی اوورویو اور Gemini کے ماخذ میں بہت فرق تھا۔ جو ویب سائٹس Google کا اے آئی کرالر بلاک کرتی ہیں وہ اے آئی اوورویوز میں کم بار ماخذ بنیں۔
ٹول میں بلاک شدہ Google-Extended پر نوٹ اس نتیجے کو Google کے اس بیان کے ساتھ رکھتا ہے کہ سوئچ سرچ پر اثر نہیں کرتا۔
doi.org/10.1145/3805712.3809667 · کانفرنس پیپر
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56، صفحات 29–41
نتیجہ تقریباً 4 ملین ڈومینز کی پیمائش بتاتی ہے: robots.txt سب سے اہم ذریعہ ہے، ai.txt اور llms.txt جیسی اے آئی فائلیں زیادہ تر ٹیکنالوجی کمپنیوں کے ہاں آ رہی ہیں۔ llms.txt فائلوں کے کچھ لنکس ایسے صفحات کی طرف ہیں جنہیں robots.txt بلاک کرتی ہے۔
ٹول میں اسی سے یہ جانچ ہوتی ہے کہ llms.txt کے لنکس بلاک شدہ صفحات کی طرف تو نہیں جاتے۔
doi.org/10.1145/3831956.3831960 · تحقیقی جریدہ
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58، آرٹیکل 106176
نتیجہ جنریٹو اے آئی کے ساتھ robots.txt کو نظرانداز کرنا زیادہ سنگین ہو گیا ہے۔ مقالہ Common Law ممالک کے لیے دلیل دیتا ہے کہ یہ فائل بعض حالات میں یکطرفہ معاہدے یا قانونی نتائج والی تنبیہ کا کام کر سکتی ہے۔
ٹول میں یہ اس نوٹ کی تائید کرتا ہے کہ robots.txt صرف تکنیک نہیں، اس شرط کے ساتھ کہ جرمنی میں قانونی صورتحال الگ سے جانچنی ہوگی۔
doi.org/10.1016/j.clsr.2025.106176 · تحقیقی جریدہ
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، صفحات 197–214
نتیجہ Common Crawl کے ایک سنیپ شاٹ میں تقریباً 1.68 فیصد ویب سائٹس نے کرالر کو صراحتاً روکا، اکثر بڑی ہوسٹنگ کمپنیوں اور ویب سائٹ بلڈرز کے ذریعے، بلاک سے لے کر تصدیقی صفحے تک۔
ٹول میں اسی لیے یہ نوٹ دیا جاتا ہے کہ اگر ہوم پیج تصدیقی صفحے سے جواب دے تو بوٹ پروٹیکشن robots.txt سے الگ بلاک کرتا ہے۔
doi.org/10.1007/978-3-031-85960-1_9 · کانفرنس پیپر
معیارات، سرکاری ادارے اور مینوفیکچررز کی معلومات
- RFC 9309: Robots Exclusion Protocol · IETF، ستمبر 2022
- How Google interprets the robots.txt specification (سٹیٹس کوڈز، 500 KiB، کیش) · Google Search Central
- Overview of OpenAI Crawlers · OpenAI
- Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
- Google common crawlers (Google-Extended) · Google Search Central
- Google user-triggered fetchers (Google-Agent) · Google Search Central
- AI features and your website · Google Search Central
- Perplexity Crawlers · Perplexity
- About Applebot · Apple، بتاریخ 4 ستمبر 2026
- Meta Web Crawlers · Meta
- Amazonbot, Amzn-SearchBot, Amzn-User · Amazon، بتاریخ 26 اکتوبر 2026
- Your content, your choice: clearer preferences for training and grounding · Microsoft Bing، 30 اکتوبر 2026
- Mistral AI crawlers · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- Cohere web crawlers (فی الحال کوئی کرالر نہیں) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · IETF مسودہ، 30 اکتوبر 2026
- A new way to control AI training (ٹریننگ سگنل) · Google Search Central Blog، 30 اکتوبر 2026
- Making it easier for websites to express AI training preferences · OpenAI، 30 اکتوبر 2026
- The /llms.txt file · llmstxt.org، 3 ستمبر 2024 کی تجویز
- § 44b UrhG: ٹیکسٹ اور ڈیٹا مائننگ · gesetze-im-internet.de
12 / مزید ٹولز
کوئی سوال ابھی باقی ہے؟
- AT-W2 · گھر اور کاروبار
Windows 10 چیک
کیا اس کمپیوٹر کو ابھی بھی سکیورٹی اپ ڈیٹس ملتی ہیں، اور اکتوبر 2027 تک کیا کرنا ہے؟ - AT-W3 · گھر اور کاروبار
وائی فائی پلانر
آپ کے گھر، دفتر یا ہال کو کتنے ایکسس پوائنٹس یا میش پوائنٹس چاہییں؟ - AT-W4 · کاروبار
آئی ٹی ایمرجنسی چیک
کوئی بڑی خرابی ہو جائے تو آپ کا کاروبار کتنی جلدی دوبارہ کام کے قابل ہوگا؟ - AT-W5 · کاروبار
ای میل چیک
کیا آپ کی ای میلز سپیم میں جا رہی ہیں؟ آپ کے ڈومین کے SPF، DKIM اور DMARC آسان لفظوں میں۔ - AT-W6 · کاروبار
یو پی ایس (USV) کیلکولیٹر
بجلی جانے پر کون سا یو پی ایس (USV) سرور، راؤٹر اور کیش رجسٹر کو کافی دیر تک چلتا رکھتا ہے؟ - AT-W8 · کاروبار
XRechnung ویوئر
XRechnung ایک XML فائل کی صورت میں ملی ہے؟ یہاں وہ پڑھنے کے قابل ہو جاتی ہے، اور فائل آپ کے کمپیوٹر سے باہر نہیں جاتی۔
کاپی کیا ہوا نتیجہ ہمیں بھیجیں۔ ہم robots.txt، llms.txt اور سٹرکچرڈ ڈیٹا اس طرح سیٹ کرتے ہیں کہ اے آئی سرچ آپ کے صفحات پڑھے اور ٹریننگ صرف وہاں ہو جہاں آپ چاہیں، روڈے وش (Rodewisch) اور پورے فوگٹ لینڈ (Vogtland) میں۔
+49 3744 4399760[email protected]پیر سے جمعہ، 8 سے 17 بجے تک · Straße der Jugend 5, 08228 Rodewisch