ٹول AT-W29REV.‎ 2026-A

اے آئی کرالر چیک: کیا ChatGPT، Claude اور Perplexity آپ کی ویب سائٹ پڑھ سکتے ہیں؟

کوئی اے آئی اسسٹنٹ آپ کی ویب سائٹ پڑھ سکتا ہے یا نہیں، یہ robots.txt میں لکھا ہوتا ہے: ہر کرالر کا اپنا گروپ، ورنہ عمومی قاعدہ “User-agent: *” لاگو ہوتا ہے۔ اصل بات مقصد کی ہے۔ GPTBot اور ClaudeBot ٹریننگ کے لیے جمع کرتے ہیں، OAI-SearchBot اور Claude-SearchBot اے آئی سرچ کے لیے، اور ChatGPT-User اس وقت صفحہ لاتا ہے جب کوئی چیٹ میں پوچھے۔ یہ چیک 27 کرالرز کے لیے آپ کے قواعد پڑھتا ہے، llms.txt جانچتا ہے اور آپ کے لیے مناسب بلاک لکھ دیتا ہے۔

  • مفت
  • رجسٹریشن کے بغیر
  • 5 منٹ کا کیش

ڈومین درج کریں، ہر کرالر کی رسائی دیکھیں

فیچ · robots.txt، llms.txt اور ہوم پیج

یہ چیک قواعد کو ویسے ہی پڑھتا ہے جیسے وہ آج سرور پر موجود ہیں، اور RFC 9309 کے مطابق ان کا جائزہ لیتا ہے۔ کوئی کرالر ان پر عمل کرے یا نہیں، یہ اس کا آپریٹر طے کرتا ہے۔

مثلاً ihre-firma.de۔ اگر ہوم پیج www.‎ پر بھیجتا ہے تو چیک وہیں جانچتا ہے۔

خالی چھوڑیں تو ہوم پیج۔ /blog یا /leistungen سے آپ دیکھتے ہیں کہ بالکل یہی حصہ کھلا ہے یا نہیں۔

ڈومین ہمارے سرور کو بھیجا جاتا ہے۔ سرور robots.txt، llms.txt اور ہوم پیج کا ابتدائی حصہ حاصل کرتا ہے۔ ڈومین اور نتیجہ لاگ میں درج نہیں کیے جاتے۔ دوبارہ جانچ کے لیے دونوں پانچ منٹ تک ریم میں رکھے جاتے ہیں۔

فیچ کے بغیر: robots.txt کا متن پیسٹ کریں

مثلاً ایسی فائل کے لیے جو ابھی آن لائن نہیں۔ متن براؤزر میں ہی رہتا ہے؛ اوپر والا پاتھ لاگو ہوتا ہے۔

نتیجہ

اوپر ڈومین درج کریں۔ فیچ میں چند سیکنڈ لگتے ہیں۔

کون سے اے آئی کرالرز ہیں اور وہ کس لیے پڑھتے ہیں

بڑی کمپنیاں ایک نہیں بلکہ کئی کرالرز بھیجتی ہیں، مقصد کے مطابق۔ سیٹ اپ میں یہی سب سے اہم بات ہے: جو “اے آئی” کو باہر کر دے وہ عموماً اے آئی سرچ سے بھی نکل جاتا ہے اور وہاں ماخذ کے طور پر نظر نہیں آتا۔ 2023 سے ویب سائٹس اے آئی کمپنیوں کو بڑھتی ہوئی تعداد میں بلاک کر رہی ہیں، اور بہت مختلف انداز میں؛ محققین کو اس میں استعمال کی شرائط اور robots.txt کے درمیان اکثر تضاد ملا Longpre وغیرہ 2024۔ اسی لیے چیک ہر کرالر کو الگ دکھاتا ہے۔

ٹریننگ، مثلاً GPTBot، ClaudeBot، CCBotآپ کی ویب سائٹROBOTS.TXTکرالر جمع کرتا ہےآئندہماڈلاے آئی سرچ، مثلاً OAI-SearchBot، PerplexityBotآپ کی ویب سائٹROBOTS.TXTسرچ انڈیکسجواب، ساتھ میںماخذصارف کی درخواست، مثلاً ChatGPT-Userچیٹ میں سوالایک صفحے کی فیچآپ کی ویب سائٹٹریننگ، مثلاً GPTBot،ClaudeBot، CCBotآپ کی ویب سائٹROBOTS.TXTکرالر جمع کرتا ہےآئندہ ماڈلاے آئی سرچ، مثلاً OAI-SearchBot،PERPLEXITYBOTآپ کی ویب سائٹROBOTS.TXTسرچ انڈیکسماخذ کے ساتھ جوابصارف کی درخواست، مثلاً ChatGPT-Userچیٹ میں سوالایک صفحے کی فیچآپ کی ویب سائٹ
شکل 1 · تین راستے جن سے اے آئی آپ کی ویب سائٹ پڑھتی ہےسنہرا = robots.txt میں آپ کا قاعدہ · ڈیشڈ = قاعدہ ہمیشہ لاگو نہیں
چار اقسام، آپریٹرز کے بیان کے مطابق
نوعیتاندراجاتیہ کیا کرتے ہیں
اے آئی سرچ11وہ انڈیکس بناتا ہے جس سے کوئی اے آئی اسسٹنٹ یا سرچ انجن ماخذ کے ساتھ جوابات لیتا ہے۔ بلاک ہونے پر صفحہ وہاں کم یا بالکل ماخذ کے طور پر نظر نہیں آتا۔
ٹریننگ6وہ مواد جمع کرتا ہے جس سے لینگویج ماڈلز سیکھتے ہیں۔ پابندی آئندہ ٹریننگ پر اثر کرتی ہے، پہلے سے ٹرین شدہ ماڈلز پر نہیں۔
ٹریننگ کا سوئچ2الگ کرالر نہیں۔ قاعدہ آپریٹر کو بتاتا ہے کہ کیا وہ پہلے سے حاصل کیا ہوا مواد ٹریننگ کے لیے استعمال کر سکتا ہے۔
صارف کی درخواست پر رسائی7ایک اکیلا صفحہ اس لیے لاتا ہے کہ کوئی شخص ابھی اس کے بارے میں پوچھ رہا ہے۔ کئی آپریٹرز لکھتے ہیں کہ اس پر robots.txt لاگو نہیں ہوتی یا ہمیشہ نہیں ہوتی۔

دو اندراجات پر دوبارہ نظر ڈالنا ضروری ہے۔ Common Crawl خود کوئی ماڈل ٹرین نہیں کرتا، لیکن ویب کا سب سے بڑا مفت دستیاب آرکائیو بناتا ہے، اور یہ بڑے لینگویج ماڈلز کی ابتدائی ٹریننگ کے اہم ترین ذرائع میں سے ہے Baack 2024۔ مثلاً مشہور ٹریننگ کارپس C4 ایسے ہی ایک سنیپ شاٹ سے بنا تھا Dodge وغیرہ 2021۔ اس لیے جو ٹریننگ نہیں چاہتا وہ CCBot کو بھی بلاک کرتا ہے؛ لیکن جو پہلے سے کسی سنیپ شاٹ میں ہے اسے کوئی قاعدہ واپس نہیں لاتا۔ دوسرا Googlebot ہے: یہ فہرست میں اس لیے ہے کہ Google سرچ کے اے آئی اوورویوز اور اے آئی موڈ اسی کے انڈیکس پر بنتے ہیں۔ جو Google پر نظر آنا چاہتا ہے وہ اسے بلاک نہیں کرتا۔

تمام 27 شامل کرالرز

کرالرز کی فہرست، 14 نومبر 2026 کو ہر آپریٹر کی ڈاکیومنٹیشن سے جانچی گئی
robots.txt میں نامآپریٹرمقصدrobots.txt کا اثرآپریٹر کیا لکھتا ہے
OAI-SearchBotOpenAIاے آئی سرچہاں، آپریٹر کے مطابقChatGPT کی سرچ کو مواد دیتا ہے۔ جو اسے بلاک کرے وہ وہاں جوابات میں ماخذ کے طور پر نظر نہیں آتا۔
Claude-SearchBotAnthropicاے آئی سرچہاں، آپریٹر کے مطابقClaude کی سرچ کے لیے کام کرتا ہے۔ بلاک ہونے پر صفحہ وہاں نتائج میں کم نظر آتا ہے۔
GooglebotGoogleاے آئی سرچہاں، آپریٹر کے مطابقGoogle سرچ کا کرالر۔ اے آئی اوورویوز اور اے آئی موڈ بھی اسی انڈیکس سے لیتے ہیں؛ وہاں کنٹرول nosnippet، max-snippet اور noindex سے ہوتا ہے۔
PerplexityBotPerplexityاے آئی سرچہاں، آپریٹر کے مطابقوہ انڈیکس بناتا ہے جس سے Perplexity ماخذ کے لنکس دیتا ہے۔ آپریٹر کے مطابق ماڈلز کی ٹریننگ کے لیے نہیں۔
ApplebotAppleاے آئی سرچہاں، آپریٹر کے مطابقSiri، Spotlight اور Safari کی سرچ کا کرالر۔ Apple کے مطابق یہ ڈیٹا Apple کے ماڈلز کی ٹریننگ میں بھی جا سکتا ہے؛ اس کے لیے Applebot-Extended ہے۔
meta-webindexerMetaاے آئی سرچہاں، آپریٹر کے مطابقMeta AI کی سرچ کے لیے انڈیکس کرتا ہے، تاکہ Meta مواد کا حوالہ اور لنک دے سکے۔
Amzn-SearchBotAmazonاے آئی سرچہاں، آپریٹر کے مطابقAlexa جیسی Amazon مصنوعات میں سرچ کے لیے، Amazon کے مطابق ٹریننگ کے لیے نہیں۔
bingbotMicrosoftاے آئی سرچہاں، آپریٹر کے مطابقBing کا کرالر۔ Microsoft کوئی الگ اے آئی شناخت نہیں بتاتا؛ ٹریننگ اور اے آئی جوابات کی ہدایات فروری 2027 سے Bingbot کے لیے ہیں۔
MistralAI-IndexMistralاے آئی سرچہاں، آپریٹر کے مطابقصرف سرچ انڈیکس کے لیے کرال کرتا ہے، Mistral کے مطابق ٹریننگ کے لیے نہیں۔
DuckAssistBotDuckDuckGoاے آئی سرچہاں، آپریٹر کے مطابقDuckDuckGo کے اے آئی جوابات کے لیے صفحات فوری طور پر لاتا ہے، ماخذ کے حوالے کے ساتھ۔ آپریٹر کے مطابق ٹریننگ کے لیے نہیں۔
YouBotYou.comاے آئی سرچہاں، آپریٹر کے مطابقYou.com سرچ انجن کا کرالر۔ robots.txt اور Crawl-delay دونوں کی پابندی کرتا ہے۔
GPTBotOpenAIٹریننگہاں، آپریٹر کے مطابقوہ مواد جمع کرتا ہے جو OpenAI کے ماڈلز کی ٹریننگ میں جا سکتا ہے۔ OpenAI کے مطابق بلاک کا مطلب ہے: ٹریننگ کے لیے استعمال نہ کرو۔
ClaudeBotAnthropicٹریننگہاں، آپریٹر کے مطابقوہ مواد جمع کرتا ہے جو Anthropic کے ماڈلز کی ٹریننگ میں جا سکتا ہے۔ Anthropic robots.txt اور Crawl-delay کی بھی پابندی کرتا ہے۔
meta-externalagentMetaٹریننگہاں، آپریٹر کے مطابقاے آئی ماڈلز کی ٹریننگ اور Meta کی مصنوعات کے لیے جمع کرتا ہے۔
AmazonbotAmazonٹریننگہاں، آپریٹر کے مطابقAmazon کی مصنوعات بہتر کرتا ہے، اس میں Amazon کے اے آئی ماڈلز کی ٹریننگ بھی شامل ہو سکتی ہے۔ Crawl-delay کی پابندی نہیں کرتا۔
MistralAI-TrainingMistralٹریننگہاں، آپریٹر کے مطابقMistral ماڈلز کے ٹریننگ ڈیٹا کے لیے مواد جمع کرتا ہے۔
CCBotCommon Crawlٹریننگہاں، آپریٹر کے مطابقویب کا ایک کھلا آرکائیو بناتا ہے۔ Common Crawl خود کچھ ٹرین نہیں کرتا، لیکن یہ آرکائیو ٹریننگ ڈیٹا کے اہم ترین ذرائع میں سے ہے۔
Google-ExtendedGoogleٹریننگ کا سوئچہاں، آپریٹر کے مطابقالگ کرالر نہیں بلکہ ایک سوئچ: کیا Google کا حاصل کیا ہوا مواد آئندہ Gemini ماڈلز کی ٹریننگ اور Gemini جوابات کی گراؤنڈنگ میں جا سکتا ہے؟ Google کے مطابق اس کا Google سرچ پر کوئی اثر نہیں۔
Applebot-ExtendedAppleٹریننگ کا سوئچہاں، آپریٹر کے مطابقالگ کرالر نہیں۔ بلاک ہونے پر Apple یہ مواد اپنے ماڈلز کی ٹریننگ کے لیے استعمال نہیں کرتا؛ صفحہ سرچ میں رہتا ہے۔
ChatGPT-UserOpenAIصارف کی درخواست پر رسائیہمیشہ نہیںجب کوئی ChatGPT میں اس کے بارے میں پوچھے تو صفحہ لاتا ہے۔ OpenAI کے مطابق اس پر robots.txt کے قواعد شاید لاگو نہ ہوں۔
Claude-UserAnthropicصارف کی درخواست پر رسائیہاں، آپریٹر کے مطابقجب صارفین Claude میں سوال کریں تو صفحات لاتا ہے۔ Anthropic لکھتا ہے کہ اس کے بوٹس robots.txt کی پابندی کرتے ہیں۔
Google-AgentGoogleصارف کی درخواست پر رسائیہمیشہ نہیںصارف کی طرف سے براؤز کرتا ہے اور کام انجام دیتا ہے۔ Google کے مطابق صارف کی درخواست پر رسائیاں عموماً robots.txt کو نظرانداز کرتی ہیں۔
Perplexity-UserPerplexityصارف کی درخواست پر رسائیہمیشہ نہیںجب صارف پوچھے تو صفحات لاتا ہے۔ Perplexity کے مطابق عموماً robots.txt کو نظرانداز کرتا ہے۔
meta-externalfetcherMetaصارف کی درخواست پر رسائیہمیشہ نہیںصارف کی درخواست پر اکیلے لنکس لاتا ہے، اے آئی ایجنٹس کے لیے بھی۔ Meta کے مطابق robots.txt کو بائی پاس کر سکتا ہے۔
Amzn-UserAmazonصارف کی درخواست پر رسائیہمیشہ نہیںصارف کے سوال کے لیے تازہ ڈیٹا لاتا ہے، مثلاً Alexa سے پوچھے گئے سوال کے لیے۔ Amazon کے مطابق robots.txt کے تمام قواعد کی پابندی نہیں کرتا۔
MistralAI-UserMistralصارف کی درخواست پر رسائیہاں، آپریٹر کے مطابقجب صارف پوچھے تو صفحہ لاتا ہے اور اسے ماخذ کے طور پر لنک کرتا ہے۔ Mistral کے مطابق robots.txt گروپ طے کرتا ہے کہ اس کے لیے کون سے صفحات استعمال ہو سکتے ہیں۔
BytespiderByteDanceغیر واضحثابت نہیںآپریٹر کی کوئی ڈاکیومنٹیشن نہیں ملی۔ مقصد اور robots.txt کے ساتھ رویہ ثابت نہیں۔

شامل نہیں: بوٹ ڈائریکٹریز کے وہ نام جو آپریٹر خود نہیں بتاتا (مثلاً anthropic-ai یا cohere-ai)۔ Cohere اپنی ڈاکیومنٹیشن کے مطابق فی الحال کوئی کرالر نہیں چلاتا؛ Microsoft کوئی الگ اے آئی شناخت نہیں بتاتا، اس کی اے آئی ہدایات bingbot کے لیے ہیں۔ بتاریخ 14 نومبر 2026۔

ٹریننگ روکیں، اے آئی سرچ کی اجازت دیں: مناسب بلاک

زیادہ تر کاروبار ایک ہی چیز چاہتے ہیں: ChatGPT، Claude یا Perplexity کے جوابات میں ماخذ کے طور پر نظر آنا، لیکن بغیر پوچھے ٹریننگ کا مواد نہ دینا۔ جنریٹر پہلے سے اسی پر سیٹ ہے۔ یہ ہر گروپ الگ لکھتا ہے اور صرف Allow اور Disallow کے ساتھ، بغیر وائلڈ کارڈ کے، کیونکہ کمرشل کرالرز بھی بعض قواعد کو بار بار غلط سمجھتے ہیں Giles وغیرہ 2010۔ یہ بلاک آپ اپنی موجودہ robots.txt میں پیسٹ کریں؛ گروپ “User-agent: *” جیسا ہے ویسا رہتا ہے۔

جنریٹر · robots.txt بلاک

کیا اے آئی کمپنیاں آپ کا مواد ٹریننگ کے لیے استعمال کر سکتی ہیں؟

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, MistralAI-Training, CCBot, Bytespider

کیا اے آئی سرچ سروسز آپ کے صفحات پڑھ کر انہیں ماخذ بتا سکتی ہیں؟

OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer, Amzn-SearchBot, MistralAI-Index, DuckAssistBot, YouBot

کیا اسسٹنٹس کسی کے پوچھنے پر صفحہ لا سکتے ہیں؟

ChatGPT-User, Claude-User, Google-Agent, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User

آپ کی robots.txt میں “User-agent: *” کے تحت جو بلاک ہے وہ یہاں لکھیں۔ نام والے کرالرز اسے وراثت میں نہیں لیتے۔

# KI-Crawler, erstellt mit dem KI-Crawler-Check von aureum-tech.com (Crawler-Liste Stand 14. November 2026)
# Training: gesperrt · KI-Suche: erlaubt · Nutzerabrufe: erlaubt
# Jeder Crawler befolgt nur die Gruppe mit seinem Namen. Was für alle gesperrt sein soll, steht deshalb in jeder Gruppe.

# Training (Schalter wie Google-Extended crawlen nicht selbst, sie regeln nur die Nutzung)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: MistralAI-Training
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

# KI-Suche: liefert Antworten mit Quellenangabe
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: meta-webindexer
Allow: /

User-agent: Amzn-SearchBot
Allow: /

User-agent: MistralAI-Index
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: YouBot
Allow: /

# Nutzerabrufe: laut mehreren Betreibern nicht immer an robots.txt gebunden
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Google-Agent
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: meta-externalfetcher
Allow: /

User-agent: Amzn-User
Allow: /

User-agent: MistralAI-User
Allow: /

# Gemeinsames Trainingssignal (IETF-Entwurf vom 30.10.2026, mehrere Anbieter haben es angekündigt)
User-agent: __usage_ai-training
Disallow: /

جنریٹر براؤزر میں چلتا ہے اور کچھ نہیں بھیجتا۔

جنریٹر · llms.txt ڈھانچہ

صرف وہ صفحات جو آپ کی robots.txt اے آئی سرچ کے لیے کھولتی ہے۔ یہ ڈھانچہ llmstxt.org کی تجویز کے مطابق ہے۔

# Name Ihrer Firma

> Ein Satz: Wer Sie sind, was Sie anbieten und wo.

## Wichtige Seiten

- [Leistungen](https://ihre-firma.de/leistungen): Was Sie anbieten
- [Kontakt](https://ihre-firma.de/kontakt): Telefon, Adresse, Öffnungszeiten

## Optional

- [Impressum](https://ihre-firma.de/impressum)

براؤزر میں چلتا ہے۔ فائل llms.txt کے نام سے ویب سائٹ کی مرکزی ڈائریکٹری میں جاتی ہے۔

سب سے عام غلطی: گروپس کچھ وراثت میں نہیں لیتے

کرالر بالکل اسی گروپ پر عمل کرتا ہے جس میں اس کا نام ہو۔ اگر ایسا گروپ موجود ہے تو عمومی قاعدہ اس پر لاگو نہیں ہوتا، جزوی طور پر بھی نہیں۔ دائیں طرف کی مثال میں “User-agent: *” حصہ /intern/ بلاک کرتا ہے، لیکن GPTBot کو “Allow: /” کے ساتھ اپنا گروپ ملتا ہے۔

/intern/preise کا نتیجہ: ClaudeBot بلاک ہے (سطر 2: Disallow: /intern/ (گروپ *))، جبکہ GPTBot پڑھ سکتا ہے (سطر 5: Allow: / (گروپ GPTBot))۔ اس لیے جو سب کے لیے بلاک ہونا چاہیے وہ ہر نام والے گروپ میں لکھنا ہوگا۔ جنریٹر میں آپ ایسے حصے ایک بار لکھتے ہیں، وہ انہیں ہر جگہ دہرا دیتا ہے۔

User-agent: *
Disallow: /intern/

User-agent: GPTBot
Allow: /

مشترکہ ٹریننگ سگنل

30 اکتوبر 2026 سے IETF میں ایک مسودہ ہے جو الگ الگ بلاک کرنے کا کام مختصر کرنا چاہتا ہے: “Disallow: /” کے ساتھ گروپ “User-agent: __usage_ai-training” تمام شریک کمپنیوں کو ایک ساتھ بتا دیتا ہے کہ آپ ٹریننگ نہیں چاہتے۔ پاتھ عام طرح کام کرتے ہیں، “Allow: /presse/” پریس کٹ کو مستثنیٰ کرتا ہے۔ یہ گروپ کرالنگ کی ہدایت نہیں، اور عمومی قاعدہ “User-agent: *” اس کے لیے صراحتاً شمار نہیں ہوتا۔ چونکہ مسودہ نیا ہے اور ابھی ہر کمپنی اسے نہیں پڑھتی، جنریٹر دونوں لکھتا ہے: الگ گروپس بھی اور سگنل بھی۔

ٹریننگ سگنل کون مانتا ہے، اپنے بیان کے مطابق
فراہم کنندہکب سے
Anthropic30 اکتوبر 2026 سے؛ ClaudeBot نام والا گروپ مقدم ہے
Microsoft (Bing)یکم فروری 2027 سے
Google2027 کے لیے منصوبہ؛ Google-Extended کا الگ گروپ نہ ہو تو Google “نہیں” کو بلاک شدہ Google-Extended جیسا سمجھے گا
OpenAI“آنے والے مہینوں میں”؛ GPTBot کے قواعد برقرار رہیں گے

ماخذ: draft-kelley-aipref-training-preference-signal-00، کوئی سٹینڈرڈ درجہ نہیں، 3 مئی 2027 کو ختم ہو جائے گا۔ بتاریخ 14 نومبر 2026۔

کرالر آپ کی robots.txt کیسے پڑھتا ہے

ستمبر 2022 سے یہ طریقہ RFC 9309 کے طور پر طے ہے، اور چیک بھی اسی کے مطابق حساب کرتا ہے۔ فائل ہمیشہ مرکزی ڈائریکٹری میں /robots.txt پر ہوتی ہے اور صرف اسی ہوسٹ پر لاگو ہوتی ہے: اگر ihre-firma.de آگے www.ihre-firma.de پر بھیجتا ہے تو www.‎ والی فائل شمار ہوتی ہے۔ کرالر اپنے نام والا گروپ ڈھونڈتا ہے، چھوٹے بڑے حروف سے فرق نہیں پڑتا؛ اگر نہ ملے تو “User-agent: *” لیتا ہے، اور اگر وہ بھی نہ ہو تو سب کچھ پڑھ سکتا ہے۔ گروپ کے اندر سب سے لمبا مماثل قاعدہ جیتتا ہے، برابری پر Allow۔ ستارہ کسی بھی حروف کی جگہ ہے، آخر میں ڈالر کا نشان ایڈریس کے اختتام کے لیے۔

2007 میں ہی 7,593 ویب سائٹس کے ایک جائزے نے دکھایا کہ یہ فائل زیادہ سے زیادہ استعمال ہو رہی ہے، اور یہ بھی کہ یہ کیا ہے: ایک قاعدہ جس پر شریف کرالرز عمل کرتے ہیں، کوئی زبردستی نہیں Sun وغیرہ 2007۔ اس میں آج تک کچھ نہیں بدلا۔

robots.txt کے سٹیٹس کوڈ کا کیا مطلب ہے
جوابRFC 9309Google
200، ٹیکسٹ فائلقواعد لاگو ہیں، کم از کم 500 KiB پڑھے جاتے ہیںیہی، 500 KiB کے بعد سب نظرانداز
200، لیکن ایک ویب پیجکوئی درست سطر نہیں، یعنی کوئی قاعدہ نہیںیہی
404 اور دوسرے 4xxrobots.txt نہیں، سب کی اجازتسب کی اجازت، سوائے 429 کے
429 بہت زیادہ درخواستیں4xx کی طرحسرور کی خرابی کی طرح
5xx یا دستیاب نہیںسب بلاک12 گھنٹے کوئی کرالنگ نہیں، پھر 30 دن تک آخری درست ورژن
ری ڈائریکٹکم از کم پانچ کی پیرویکم از کم پانچ، پھر 404 کی طرح

Google یہ فائل عموماً 24 گھنٹے تک محفوظ رکھتا ہے، Amazon 30 دن تک۔ اس لیے تبدیلیاں فوراً اثر نہیں کرتیں۔ ہماری فیچ زیادہ سے زیادہ تین ری ڈائریکٹس کی پیروی کرتی ہے۔ بتاریخ 14 نومبر 2026۔

خود صفحات پر موجود ہدایات

robots.txt کے علاوہ ہر صفحے کی اپنی ہدایات ہوتی ہیں، ہیڈ میں میٹا ٹیگ کے طور پر یا سرور کے جواب میں X-Robots-Tag کے طور پر۔ چیک انہیں ہوم پیج پر پڑھتا ہے۔ اے آئی کے لیے خاص طور پر یہ اہم ہیں: noindex صفحے کو سرچ انڈیکس سے اور یوں اے آئی اوورویوز سے بھی نکال دیتا ہے، nosnippet Google پر ٹیکسٹ کا اقتباس روکتا ہے، اے آئی اوورویوز اور اے آئی موڈ میں بھی۔ Amazon noarchive کو “ٹریننگ کے لیے نہیں” سمجھتا ہے۔ Microsoft یکم فروری 2027 سے ٹریننگ اور گراؤنڈنگ کے لیے اپنی ہدایات (ai-training، ai-grounding) متعارف کر رہا ہے اور مارچ 2027 سے noarchive اور nocache کو اے آئی ہدایت کے طور پر نہیں پڑھے گا۔ “noai” جیسی ہدایات عام ہیں، لیکن ہماری فہرست کے کسی آپریٹر نے انہیں دستاویزی شکل میں نہیں بتایا۔

robots.txt کیا نہیں کر سکتی

  • یہ ایک درخواست ہے۔ 130 نام والے بوٹس کے ساتھ 40 دن کے تجربات میں بوٹس نے سخت قواعد پر کم عمل کیا، اور اے آئی سرچ کرالرز نے اکثر فائل دیکھی ہی نہیں Kim وغیرہ 2025۔
  • یہ صرف ناموں پر اثر کرتی ہے۔ خاص طور پر تیار کی گئی ویب سائٹس سے ثابت کیا جا سکا کہ کون سا رسائی کرنے والا کس اے آئی سسٹم کو مواد دیتا ہے، ان میں کئی ایسے بھی جنہیں ان کا آپریٹر ظاہر نہیں کرتا Seiden وغیرہ 2026۔ جو کسی اور کے نام سے آئے اس پر کوئی قاعدہ لاگو نہیں ہوتا۔
  • صارف کی درخواست پر رسائیاں کبھی کبھی بائی پاس کرتی ہیں۔ OpenAI، Perplexity، Meta، Amazon اور Google خود لکھتے ہیں کہ صارف کی درخواست پر ان کی رسائیاں ہمیشہ robots.txt کی پابندی نہیں کرتیں۔ Anthropic اور Mistral اس کے لیے بھی اسی فائل کو کنٹرول کا ذریعہ بتاتے ہیں۔
  • سخت بلاک سرور پر ہوتا ہے۔ فنکاروں کے پاس robots.txt کے لیے اکثر معلومات یا اپنی ویب سائٹ تک رسائی نہیں تھی، Reverse-Proxy پر بلاک زیادہ مؤثر ثابت ہوئے Liu وغیرہ 2025۔ دوسری طرف کچھ ہوسٹنگ کمپنیاں اور ویب سائٹ بلڈرز مالک کو بتائے بغیر کرالرز بلاک کر دیتے ہیں: Common Crawl کے ایک سنیپ شاٹ میں تقریباً 1.68 فیصد ویب سائٹس نے کرالر کو صراحتاً روکا Ansar وغیرہ 2025۔ اگر آپ کا ہوم پیج ہماری فیچ کو کسی تصدیقی صفحے سے جواب دے تو چیک یہ بتا دیتا ہے۔
  • ہماری فیچ کوئی اے آئی کرالر نہیں۔ سرور اپنی شناخت سے فیچ کرتا ہے۔ اگر کوئی فائر وال کرالرز کو نام سے بلاک کرتی ہے، مثلاً Cloudflare کی کسی سیٹنگ سے، تو چیک یہ نہیں دیکھ پاتا۔

اور قانونی طور پر؟

§ 44b Abs.‎ 3 UrhG کے مطابق آزادانہ دستیاب مواد پر ٹیکسٹ اور ڈیٹا مائننگ کی اجازت ہے، جب تک حقوق کا مالک اسے اپنے لیے محفوظ نہ کرے، اور انٹرنیٹ پر مواد کے لیے صرف مشین پڑھنے کے قابل شکل میں حق محفوظ رکھنا شمار ہوتا ہے۔ robots.txt مشین ریڈایبل ہے، لیکن کیا یہ حق محفوظ رکھنے کے لیے کافی ہے، یہ حتمی طور پر طے نہیں ہوا۔ ایک قانونی تحقیقی مقالہ Common Law ممالک کے لیے دلیل دیتا ہے کہ اس فائل کو نظرانداز کرنا بعض حالات میں ذمہ داری پیدا کر سکتا ہے Chang اور He 2025؛ جرمنی کے لیے اسے الگ سے جانچنا ہوگا۔ جو تحفظ کا اعلان کرنا چاہے وہ اسے قانونی معلومات (Impressum) یا استعمال کی شرائط میں بھی لکھے۔ یہ قانونی مشورہ نہیں ہے۔

llms.txt: یہ فائل کیا کر سکتی ہے اور کیا نہیں

llms.txt کی تجویز Jeremy Howard نے 3 ستمبر 2024 کو دی، اس کی تفصیل llmstxt.org پر ہے۔ یہ /llms.txt پر ایک Markdown فائل ہے: نام کے ساتھ ایک سرخی، جو واحد لازمی حصہ ہے، پھر اقتباس کی صورت میں مختصر تعارف، چاہیں تو چند جملے، اور اہم ترین صفحات کے لنکس کی فہرستوں والے حصے۔ “Optional” نام کا حصہ وہ چیزیں رکھتا ہے جو اسسٹنٹ چھوڑ سکتا ہے۔

تقریباً 4 ملین ڈومینز کی ایک پیمائش میں یہ فائل زیادہ تر ٹیکنالوجی کمپنیوں کے ہاں ملی، اور اس کے کچھ لنکس ایسے صفحات کی طرف تھے جنہیں اپنی ہی robots.txt بلاک کرتی ہے Hoffmann وغیرہ 2026۔ یہی چیک جانچتا ہے۔ بلاک شدہ صفحات کی طرف اشارہ کرنے والا راہنما کہیں نہیں لے جاتا۔

سچ پوچھیں تو: Google اے آئی اوورویوز کی ڈاکیومنٹیشن میں لکھتا ہے کہ اس کے لیے کوئی نئی مشین ریڈایبل فائل بنانے کی ضرورت نہیں، اور یہاں شامل کسی آپریٹر نے اپنی کرالر ڈاکیومنٹیشن میں نہیں لکھا کہ وہ دوسری ویب سائٹس کی llms.txt پڑھتا ہے۔ یعنی یہ نظر آنے کا کوئی ذریعہ نہیں۔ پھر بھی یہ مفید ہے، ایک مختصر اور صاف تعارف کے طور پر جو اسسٹنٹ صارف کی درخواست پر پڑھ سکتا ہے، اور اس لیے کہ یہ دس منٹ میں تیار ہو جاتی ہے۔

ہماری اپنی فائل aureum-tech.com/llms.txt پر ہے۔ آپ کی فائل کا ڈھانچہ اوپر والا جنریٹر بناتا ہے۔

پڑھنے کی اجازت کا مطلب یہ نہیں کہ آپ کا نام بھی آئے گا

یہ چیک ایک ابتدائی سوال کا جواب دیتا ہے۔ جب کوئی پلاؤن (Plauen) میں الیکٹریشن کے بارے میں پوچھے تو ChatGPT آپ کی کمپنی کا نام لے گا یا نہیں، یہ آپ کے صفحات کے مواد اور اس پر منحصر ہے جو دوسرے آپ کے بارے میں لکھتے ہیں۔ تجربات میں مواد کی بہتر ترتیب سے اے آئی جوابات میں ماخذ کی نمایاں حیثیت 40 فیصد تک بڑھائی جا سکی، شعبے کے لحاظ سے مختلف طریقوں سے Aggarwal وغیرہ 2024۔ Google پر 55,393 سرچز کی ایک پیمائش میں 13.7 فیصد معاملات میں اے آئی اوورویو آیا، سوالات میں 64.7 فیصد میں، اور وہاں حوالہ دیے گئے تقریباً 30 فیصد ڈومینز پہلے صفحے کے نتائج میں نہیں تھے Xu وغیرہ 2026۔

نام آنے کا مطلب درست حوالہ بھی نہیں۔ چار اے آئی سرچ انجنوں میں اوسطاً صرف آدھے سے کچھ زیادہ جملے بتائے گئے ماخذ سے ثابت ہوتے تھے Liu وغیرہ 2023۔ اور جو Google کا اے آئی کرالر بلاک کرے وہ اے آئی اوورویوز میں کم بار ماخذ بنتا ہے، حالانکہ Google لکھتا ہے کہ یہ سوئچ سرچ پر اثر نہیں کرتا Grossman وغیرہ 2026۔

آپ کی کمپنی ChatGPT، Perplexity اور Google کی اے آئی میں واقعی کتنی نظر آتی ہے، یہ SpotLens کا کوئیک چیک دکھاتا ہے۔ ہم مواد اور سٹرکچرڈ ڈیٹا کیسے بناتے ہیں کہ اے آئی سرچ ان کا حوالہ دے، یہ AI-SEO کے تحت لکھا ہے۔ جو پہلے خود دیکھنا چاہے اسے گائیڈ میں ملے گا کہ ChatGPT میں نمایاں ہونا کیسے چیک کریں اور کمپنیوں کے لیے اے آئی میں نمایاں ہونا کیا ہے۔ اکیلے قواعد آپ robots.txt ٹیسٹر میں جانچ سکتے ہیں، اور سرچ میں نظر آنے کے مزید ٹولز SEO اور نمایاں ہونا کے تحت ہیں۔

تحقیق اس بارے میں کیا کہتی ہے

چیک میں درجہ بندی 15 جانچے گئے تحقیقی مقالوں پر مبنی ہے۔ اہم ترین نتائج اور جانچ کے نوٹ کے ساتھ مکمل فہرست نیچے دی گئی ہے۔

  • بلاک بڑھ رہے ہیں، اور یکساں نہیں۔ ایک سال کے اندر اے آئی ٹریننگ ڈیٹا کے ذرائع کا بڑا حصہ بلاک ہو گیا، کمپنی کے لحاظ سے مختلف Longpre وغیرہ 2024۔ اسی لیے چیک کرالرز کو الگ الگ دکھاتا ہے۔
  • قواعد پر چن چن کر عمل ہوتا ہے۔ قاعدہ جتنا سخت، بوٹس نے اس پر اتنا ہی کم عمل کیا Kim وغیرہ 2025۔ اسی لیے چیک وہ چیز نہیں ناپتا جو ناپ نہیں سکتا، اور یہ بتا دیتا ہے۔
  • ٹریننگ آرکائیوز کے ذریعے ہوتی ہے۔ Common Crawl ابتدائی ٹریننگ کے اہم ترین ذرائع میں سے ہے Baack 2024، اور C4 جیسے کارپس الگ الگ سنیپ شاٹس سے بنتے ہیں Dodge وغیرہ 2021۔ اسی لیے اگر CCBot کھلا رہے تو چیک خبردار کرتا ہے۔
  • اے آئی اوورویوز اپنے ماخذ خود چنتے ہیں۔ حوالہ دیے گئے بہت سے ڈومینز پہلے صفحے پر نہیں ہوتے Xu وغیرہ 2026، اور بلاک شدہ اے آئی کرالرز کے ساتھ حوالے کم ہوتے ہیں Grossman وغیرہ 2026۔
  • llms.txt نئی ہے اور اکثر متضاد ہوتی ہے۔ فائل کے کچھ لنکس بلاک شدہ صفحات کی طرف جاتے ہیں Hoffmann وغیرہ 2026؛ چیک ہر اپنا لنک جانچتا ہے۔

یہ ٹول کسی اے آئی اسسٹنٹ سے استعمال کریں

Claude یا ChatGPT جیسے اسسٹنٹ، جو Model Context Protocol (MCP) استعمال کرتے ہیں، اس صفحے کا حساب خود دوبارہ بنانے کی بجائے سیدھا یہیں سے چلا سکتے ہیں۔ سرور پبلک ہے، لاگ اِن نہیں مانگتا اور کچھ محفوظ نہیں کرتا۔ جواب میں ہمیشہ اس صفحے کا لنک، ڈیٹا کی تاریخ اور نتیجے کی حدود شامل ہوتی ہیں۔

اینڈ پوائنٹ
https://aureum-tech.com/mcp
ٹول
werkzeug_ki_crawler_check
ٹرانسپورٹ
Streamable HTTP، صرف پڑھنے کے لیے
اِن پٹس
ناملازمیمطلب
domainنہیںویب سائٹ کا ڈومین، مثلاً ihre-firma.de یا https://www.ihre-firma.de۔ پاتھ نظرانداز ہوتا ہے، robots.txt ہمیشہ مرکزی ڈائریکٹری میں ہوتی ہے۔ صرف پبلک ویب سائٹس، پورٹ 80 یا 443۔
robots_txtنہیںڈومین کے بجائے: robots.txt کا متن، جس کا فیچ کے بغیر جائزہ لیا جاتا ہے۔ domain کے ساتھ نہ دیں۔
pfadنہیںوہ پاتھ جس کے لیے جانچ ہو، مثلاً /blog/artikel۔ خالی ہو تو ہوم پیج “/”۔

ایسے سوالات جن پر اسسٹنٹ کو یہ ٹول چلانا چاہیے

  • “کیا ChatGPT میری ویب سائٹ handwerk-muster.de پڑھ سکتا ہے؟”
  • “کیا ہماری robots.txt غلطی سے Perplexity اور ChatGPT کی اے آئی سرچ کو بلاک کر رہی ہے؟”
  • “اے آئی ٹریننگ کو کیسے روکوں، لیکن ChatGPT اور Claude کی سرچ میں نظر آتا رہوں؟”
  • “کیا www.beispiel-praxis.de پر llms.txt ہے، اور کیا اس کے لنکس بلاک شدہ صفحات کی طرف جاتے ہیں؟”

کنکشن کیسے کام کرتا ہے اور MCP آپ کے اپنے کاروبار میں کیا کر سکتا ہے، یہ MCP انٹیگریشنز کے صفحے پر لکھا ہے۔

اے آئی کرالرز، robots.txt اور llms.txt کے بارے میں عام سوالات

ChatGPT کی سرچ سے نکلے بغیر اے آئی ٹریننگ کو کیسے بلاک کروں؟

OpenAI دونوں کو الگ رکھتا ہے: GPTBot ٹریننگ کے لیے مواد جمع کرتا ہے، OAI-SearchBot ChatGPT کی سرچ کے لیے، اور ہر سیٹنگ الگ سے اثر کرتی ہے۔ اس لیے robots.txt میں GPTBot کو “Disallow: /” اور OAI-SearchBot کو “Allow: /” ملتا ہے۔ Anthropic کے ہاں یہی ClaudeBot اور Claude-SearchBot پر لاگو ہوتا ہے، اور Google کے ہاں آپ Google-Extended کو بلاک کرتے ہیں اور Googlebot کو نہیں چھیڑتے۔ اس صفحے کا جنریٹر تمام شامل کمپنیوں کے لیے پورا بلاک لکھ دیتا ہے۔

GPTBot، OAI-SearchBot اور ChatGPT-User میں کیا فرق ہے؟

GPTBot وہ مواد جمع کرتا ہے جو آئندہ ماڈلز کی ٹریننگ میں جا سکتا ہے۔ OAI-SearchBot وہ انڈیکس بناتا ہے جس سے ChatGPT سرچ کے وقت ماخذ بتاتا ہے؛ OpenAI کے مطابق جو اسے بلاک کرے وہ وہاں جوابات میں نظر نہیں آتا۔ ChatGPT-User ایک اکیلا صفحہ اس وقت لاتا ہے جب کوئی چیٹ میں اس کے بارے میں پوچھ رہا ہو۔ OpenAI کے مطابق اس رسائی پر robots.txt کے قواعد شاید لاگو نہ ہوں۔

اگر میں Google-Extended کو بلاک کروں تو کیا میری ویب سائٹ Google سے نکل جائے گی؟

نہیں۔ Google-Extended کوئی الگ کرالر نہیں بلکہ ایک سوئچ ہے: کیا Google حاصل کیا ہوا مواد Gemini کی ٹریننگ اور Gemini کے جوابات کی گراؤنڈنگ کے لیے استعمال کر سکتا ہے۔ Google کے مطابق اس کا سرچ میں شامل ہونے یا رینکنگ پر کوئی اثر نہیں۔ Google سرچ کے اے آئی اوورویوز (AI Overviews) کا تعلق Googlebot اور nosnippet جیسے سنیپٹ قواعد سے ہے۔ البتہ 2026 کی ایک پیمائش میں جن صفحات پر Google کا اے آئی کرالر بلاک تھا وہ اے آئی اوورویوز میں کم بار ماخذ بنے۔

کیا مجھے llms.txt کی ضرورت ہے؟

یہ لازمی نہیں۔ llms.txt ستمبر 2024 میں Jeremy Howard کی تجویز ہے: ایک Markdown فائل جس میں سرخی، مختصر تعارف اور اہم ترین صفحات کے لنکس ہوں۔ Google صاف لکھتا ہے کہ اے آئی اوورویوز کے لیے کسی نئی مشین ریڈایبل فائل کی ضرورت نہیں، اور یہاں شامل کسی آپریٹر نے اپنی کرالر ڈاکیومنٹیشن میں نہیں لکھا کہ وہ اسے پڑھتا ہے۔ نقصان کوئی نہیں، اور یہ جلدی بن جاتی ہے؛ اس کا ڈھانچہ جنریٹر دیتا ہے۔ زیادہ اہم یہ ہے کہ اس کے لنکس بلاک شدہ صفحات کی طرف نہ جائیں۔

کیا ہر کرالر robots.txt کی پابندی کرتا ہے؟

نہیں۔ robots.txt ایک درخواست ہے، تالا نہیں۔ پیمائشیں بتاتی ہیں کہ بوٹس سخت قواعد پر کم عمل کرتے ہیں اور اے آئی سرچ کرالرز اکثر یہ فائل دیکھتے ہی نہیں۔ ChatGPT-User، Perplexity-User یا meta-externalfetcher جیسی صارف کی درخواست پر رسائیاں ان کے آپریٹرز کے مطابق کبھی کبھی robots.txt کو نظرانداز کرتی ہیں، اور جو بغیر نام کے مواد جمع کرے وہ کسی قاعدے میں نہیں آتا۔ جو واقعی بلاک کرنا چاہے اسے سرور پر یا ہوسٹنگ کمپنی کے ہاں بلاک لگانا ہوگا۔

کیا بلاک ان ماڈلز پر بھی لاگو ہوتا ہے جو پہلے سے ٹرین ہو چکے ہیں؟

نہیں۔ OpenAI اور Anthropic بلاک کو آئندہ ٹریننگ کے لیے ہدایت بتاتے ہیں۔ ٹریننگ ڈیٹا ویب کے مقررہ سنیپ شاٹس سے بنتا ہے، مثلاً Common Crawl کے آرکائیو سے؛ جو وہاں پہلے سے موجود ہے وہ وہیں رہتا ہے۔ اس لیے اگر آپ ٹریننگ نہیں چاہتے تو CCBot کو بھی ذہن میں رکھیں۔

“User-agent: __usage_ai-training” کا کیا مطلب ہے؟

یہ 30 اکتوبر 2026 کے ایک IETF مسودے کے مطابق مشترکہ ٹریننگ سگنل ہے۔ اس نام کا گروپ اور “Disallow: /” تمام شریک کمپنیوں کو ایک ساتھ بتا دیتا ہے کہ آپ ٹریننگ نہیں چاہتے۔ Anthropic کے بقول وہ اسے پہلے سے مانتا ہے، Microsoft یکم فروری 2027 سے، Google اسے 2027 میں لانے کا ارادہ رکھتا ہے اور OpenAI آنے والے مہینوں میں۔ یہ کرالنگ کی ہدایت نہیں، اور گروپ “User-agent: *” اس کے لیے صراحتاً شمار نہیں ہوتا۔

اے آئی کرالر چیک کی حد کہاں ہے؟

یہ آپ کی robots.txt کے قواعد، llms.txt اور ہوم پیج کی robots ہدایات پڑھتا ہے اور ہر کرالر کے لیے بتاتا ہے کہ کیا اجازت ہے۔ کوئی کرالر ان پر عمل کرتا ہے یا نہیں، یہ نہیں ناپتا، اور یہ بھی نہیں کہ کوئی اے آئی اسسٹنٹ آپ کی کمپنی کو جانتا اور تجویز کرتا ہے یا نہیں۔ یہ SpotLens کوئیک چیک دکھاتا ہے؛ مواد کیسا ہو کہ اے آئی سرچ اسے حوالہ بنائے، یہ AI-SEO کے تحت لکھا ہے۔ آپ چاہیں تو یہ فائلیں ہم آپ کے لیے سیٹ کر دیتے ہیں۔

اس ٹول کی بنیاد کیا ہے

اوپر دی گئی رہنما قدریں اور نوٹس ان 15 سائنسی مقالوں پر مبنی ہیں۔ ہر مقالہ اس کے DOI یا پبلشر کے صفحے سے چیک کیا گیا ہے (آخری بار 14 نومبر 2026 کو): وہ موجود ہے، واپس نہیں لیا گیا، اور اس کا نتیجہ اس سوال کے لیے آج بھی درست ہے۔

  1. Sun, Y.; Zhuang, Z.; Giles, C.‎ L.‎ (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007)، صفحات 1123–1124

    نتیجہ 7,593 ویب سائٹس پر پانچ جائزے بتاتے ہیں کہ robots.txt زیادہ سے زیادہ استعمال ہو رہی ہے۔ یہ فائل زبردستی نہیں بلکہ ایک قاعدہ ہے جس پر شریف کرالرز عمل کرتے ہیں۔

    ٹول میں صفحے کے بنیادی اصول کو پیش کرتا ہے: robots.txt کرالرز سے ایک درخواست ہے، تالا نہیں۔

  2. Giles, C.‎ L.; Sun, Y.; Councill, I.‎ G.‎ (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010)، صفحات 1101–1102

    نتیجہ زیادہ تر کمرشل کرالرز قواعد کے مطابق چلے، لیکن کئی نے robots.txt کے بعض قواعد کو بار بار توڑا یا غلط سمجھا۔

    ٹول میں اسی لیے جنریٹر ہر گروپ الگ اور صرف Allow اور Disallow کے ساتھ، بغیر وائلڈ کارڈ کے لکھتا ہے۔

  3. Kim, T.; Bock, K.; Luo, C.‎ وغیرہ (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 541–557

    نتیجہ 130 نام والے بوٹس کے ساتھ 40 دن کے کنٹرولڈ تجربات میں بوٹس نے سخت قواعد پر کم عمل کیا؛ اے آئی سرچ کرالرز نے اکثر robots.txt دیکھی ہی نہیں۔

    ٹول میں “قواعد پڑھنا، رویہ نہ ناپنا” کی حد اور بلاک شدہ صارف رسائیوں کے نوٹ کو واضح کرتا ہے۔

  4. Liu, E.; Luo, E.; Shan, S.‎ وغیرہ (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، صفحات 78–99

    نتیجہ پیمائشیں اور 203 فنکاروں کا سروے robots.txt کی بڑی ضرورت دکھاتے ہیں، لیکن معلومات اور اپنی ویب سائٹ تک رسائی میں رکاوٹیں بھی۔ Reverse-Proxy پر بلاک زیادہ مؤثر تھے، لیکن کم عام ہیں۔

    ٹول میں اسی لیے سخت بلاک کے لیے ہوسٹنگ کمپنی یا پراکسی کو شامل کرنے کا مشورہ دیا جاتا ہے، اور جنریٹر کسی تکنیکی اصطلاح کا علم فرض نہیں کرتا۔

  5. Seiden, S.; Ren, T.; Zhang, C.‎ وغیرہ (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026)، صفحات 6998–7012

    نتیجہ خاص طور پر تیار کی گئی ویب سائٹس اور 22 اے آئی سسٹمز سے یہ معلوم کیا جا سکا کہ کون سا رسائی کرنے والا کس ماڈل کو مواد دیتا ہے، ان میں کئی ایسے بھی جنہیں ان کا آپریٹر ظاہر نہیں کرتا۔

    ٹول میں اس حد کو واضح کرتا ہے کہ ٹیبل صرف وہ کرالرز جانتی ہے جنہیں ان کا آپریٹر اپنے نام سے دستاویزی شکل دیتا ہے۔

  6. Longpre, S.; Mahari, R.; Lee, A.‎ وغیرہ (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، صفحات 108042–108087

    نتیجہ اے آئی ٹریننگ ڈیٹا کے پیچھے 14,000 ڈومینز کے جائزے میں ایک سال کے اندر بلاکس میں تیز اضافہ، اے آئی کمپنیوں کے درمیان بڑے فرق اور استعمال کی شرائط اور robots.txt کے درمیان اکثر تضاد ملا۔

    ٹول میں اسی لیے چیک صرف “اے آئی کی اجازت” یا “اے آئی بلاک” بتانے کے بجائے ہر کرالر الگ دکھاتا ہے۔

  7. Baack, S.‎ (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024)، صفحات 2199–2208

    نتیجہ Common Crawl ویب ڈیٹا کا سب سے بڑا مفت دستیاب ذخیرہ ہے اور بڑے لینگویج ماڈلز کی ابتدائی ٹریننگ کے اہم ترین ذرائع میں سے ہے، اکثر ٹریننگ مواد میں بڑے حصے کے ساتھ۔

    ٹول میں اسی لیے CCBot ٹریننگ کے تحت ہے، اور اگر کچھ ٹریننگ کرالرز بلاک ہوں لیکن CCBot نہیں تو چیک خبردار کرتا ہے۔

  8. Dodge, J.; Sap, M.; Marasović, A.‎ وغیرہ (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021)، صفحات 1286–1305

    نتیجہ ٹریننگ کارپس C4 Common Crawl کے ایک ہی سنیپ شاٹ سے بنا اور اس میں پیٹنٹ دستاویزات اور فوجی ویب سائٹس جیسے غیر متوقع ذرائع کے متن شامل ہیں۔

    ٹول میں متن میں یہ ثابت کرتا ہے کہ ٹریننگ کارپس مقررہ سنیپ شاٹس سے بنتے ہیں: جو ایک بار وہاں آ گیا، بعد کی پابندی اس تک نہیں پہنچتی۔

  9. Aggarwal, P.; Murahari, V.; Rajpurohit, T.‎ وغیرہ (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)، صفحات 5–16

    نتیجہ مواد کو اس طرح ترتیب دیا جا سکتا ہے کہ اے آئی سرچ انجن اسے 40 فیصد تک زیادہ نمایاں طور پر حوالہ بنائیں؛ کیا کام کرتا ہے، یہ شعبے پر منحصر ہے۔

    ٹول میں حد بندی کو واضح کرتا ہے: رسائی شرط ہے، حوالہ دیا جائے یا نہیں یہ مواد طے کرتا ہے۔ اس کے لیے صفحہ AI-SEO کا حوالہ دیتا ہے۔

  10. Liu, N.; Zhang, T.; Liang, P.‎ (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023، صفحات 7001–7025

    نتیجہ چار اے آئی سرچ انجنوں میں اوسطاً صرف آدھے سے کچھ زیادہ جملے ماخذ سے مکمل طور پر ثابت ہوتے تھے، اور تقریباً ایک چوتھائی حوالے جملے کی تائید نہیں کرتے تھے۔

    ٹول میں اس حد کو واضح کرتا ہے کہ آزاد رسائی درست حوالے کی ضمانت نہیں: چیک پڑھنا جانچتا ہے، جواب نہیں۔

  11. Xu, H.; Iqbal, U.; Montgomery, J.‎ M.‎ (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026)، صفحات 529–546

    نتیجہ 55,393 سرچز میں 13.7 فیصد معاملات میں اے آئی اوورویو آیا، سوالات میں 64.7 فیصد میں۔ حوالہ دیے گئے تقریباً 30 فیصد ڈومینز پہلے صفحے کے نتائج میں نہیں تھے۔

    ٹول میں وضاحت کہ Googlebot چیک میں کیوں ہے: اے آئی اوورویوز ماخذ انڈیکس سے چنتے ہیں، لیکن صرف پہلے نتائج سے نہیں۔

  12. Grossman, R.; Liu, S.; Chen, M.‎ K.‎ وغیرہ (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)، صفحات 448–459

    نتیجہ 11,500 سرچز میں Google سرچ، اے آئی اوورویو اور Gemini کے ماخذ میں بہت فرق تھا۔ جو ویب سائٹس Google کا اے آئی کرالر بلاک کرتی ہیں وہ اے آئی اوورویوز میں کم بار ماخذ بنیں۔

    ٹول میں بلاک شدہ Google-Extended پر نوٹ اس نتیجے کو Google کے اس بیان کے ساتھ رکھتا ہے کہ سوئچ سرچ پر اثر نہیں کرتا۔

  13. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V.‎ (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56، صفحات 29–41

    نتیجہ تقریباً 4 ملین ڈومینز کی پیمائش بتاتی ہے: robots.txt سب سے اہم ذریعہ ہے، ai.txt اور llms.txt جیسی اے آئی فائلیں زیادہ تر ٹیکنالوجی کمپنیوں کے ہاں آ رہی ہیں۔ llms.txt فائلوں کے کچھ لنکس ایسے صفحات کی طرف ہیں جنہیں robots.txt بلاک کرتی ہے۔

    ٹول میں اسی سے یہ جانچ ہوتی ہے کہ llms.txt کے لنکس بلاک شدہ صفحات کی طرف تو نہیں جاتے۔

  14. Chang, C.-Y.; He, X.‎ (2025): The liabilities of robots.txt. Computer Law & Security Review 58، آرٹیکل 106176

    نتیجہ جنریٹو اے آئی کے ساتھ robots.txt کو نظرانداز کرنا زیادہ سنگین ہو گیا ہے۔ مقالہ Common Law ممالک کے لیے دلیل دیتا ہے کہ یہ فائل بعض حالات میں یکطرفہ معاہدے یا قانونی نتائج والی تنبیہ کا کام کر سکتی ہے۔

    ٹول میں یہ اس نوٹ کی تائید کرتا ہے کہ robots.txt صرف تکنیک نہیں، اس شرط کے ساتھ کہ جرمنی میں قانونی صورتحال الگ سے جانچنی ہوگی۔

  15. Ansar, M.; Sperotto, A.; Holz, R.‎ (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، صفحات 197–214

    نتیجہ Common Crawl کے ایک سنیپ شاٹ میں تقریباً 1.68 فیصد ویب سائٹس نے کرالر کو صراحتاً روکا، اکثر بڑی ہوسٹنگ کمپنیوں اور ویب سائٹ بلڈرز کے ذریعے، بلاک سے لے کر تصدیقی صفحے تک۔

    ٹول میں اسی لیے یہ نوٹ دیا جاتا ہے کہ اگر ہوم پیج تصدیقی صفحے سے جواب دے تو بوٹ پروٹیکشن robots.txt سے الگ بلاک کرتا ہے۔

معیارات، سرکاری ادارے اور مینوفیکچررز کی معلومات

پیر سے جمعہ، 8 سے 17 بجے تک

کاپی کیا ہوا نتیجہ ہمیں بھیجیں۔ ہم robots.txt، llms.txt اور سٹرکچرڈ ڈیٹا اس طرح سیٹ کرتے ہیں کہ اے آئی سرچ آپ کے صفحات پڑھے اور ٹریننگ صرف وہاں ہو جہاں آپ چاہیں، روڈے وش (Rodewisch) اور پورے فوگٹ لینڈ (Vogtland) میں۔

+49 3744 4399760[email protected]

پیر سے جمعہ، 8 سے 17 بجے تک · Straße der Jugend 5, 08228 Rodewisch

اے آئی رسائی ہم سے سیٹ کروائیں
+49 3744 4399760پیر سے جمعہ، 8 سے 17 بجے تک
فون کریںکال بیک

اجزا کی فہرست · صفحہ 1/1

یہ صفحہ کن چیزوں سے بنا ہے

یہ قدریں بِلڈ کے وقت ناپی گئی ہیں۔ JavaScript آن ہو تو آپ کا براؤزر انہیں ابھی دوبارہ ناپتا ہے۔

نمبرجزوقسمسائز
01index.htmlدستاویز≈ 29 کے بی
02styles.cssسٹائل شیٹ≈ 20 کے بی
03scripts.jsسکرپٹ≈ 13 کے بی
04archivo-variable.woff2فونٹ≈ 58 کے بی
05ibm-plex-mono.woff2فونٹ≈ 30 کے بی
06favicon.svgگرافک1 کے بی سے کم

اشتہاری یا اینالیٹکس کوکیز: کوئی نہیں۔ آپ کی اجازت کے بغیر یہ صفحہ بیرونی سرورز سے کچھ لوڈ نہیں کرتا، سوائے ہماری ڈیلیوری سروس Cloudflare کے: فونٹ، سکرپٹس اور گرافکس ہمارے اپنے پاس ہیں۔ آپ کا آئی ٹی بھی ہم اسی طرح بناتے ہیں۔

دفتر کے اوقات کے علاوہ

پھر بھی بے جھجک فون کر لیں

عام طور پر ہم پیر سے جمعہ، 8 سے 17 بجے تک دفتر میں ہوتے ہیں۔

یہ نمبر شام کو اور ویک اینڈ پر بھی ہماری طرف فارورڈ ہوتا ہے، اور اکثر تب بھی کوئی فون اٹھا لیتا ہے۔ اس کا وعدہ ہم نہیں کر سکتے۔

کوئی نہ ملے تو وائس میل پر مختصر پیغام چھوڑ دیں: نام، نمبر اور بات کیا ہے۔ ہم جتنی جلدی ہو سکے واپس فون کرتے ہیں، زیادہ سے زیادہ اگلے ورکنگ ڈے تک۔

بات کرنے کے کوئی پیسے نہیں۔ اگر دفتر کے اوقات کے علاوہ کسی کو فوراً کام پر لگنا پڑے تو ریٹ لسٹ میں درج اضافی چارج لاگو ہوتا ہے۔

ابھی فون کریں+49 3744 4399760

لکھنا بہتر لگتا ہے؟ رابطہ فارم سے یا [email protected] پر لکھیں۔ وہ ہم اگلے ورکنگ ڈے کو پڑھتے ہیں۔

تشخیص · AT-K2

کیا مسئلہ ہے؟

↵ منتخب کریںESC بند کریںفون کریں: ‎+49 3744 4399760

اپنی مرضی کی سیٹنگز

کون سی سروسز لوڈ ہو سکتی ہیں؟

تکنیکی طور پر ضروری

یہاں کیا گیا آپ کا فیصلہ، اور کلر سکیم اور اینیمیشن کی سیٹنگز۔ یہ معلومات چھوٹے اندراجات کی صورت میں آپ کی ڈیوائس پر رہتی ہیں اور کبھی کسی سرور کو نہیں بھیجی جاتیں۔ ویب سائٹ چلانے کے لیے یہ ضروری ہیں، اس لیے انہیں بند نہیں کیا جا سکتا۔