وسیله AT-W29نسخه 2026-A

د AI کراولر چېک: ایا ChatGPT، Claude او Perplexity ستاسو وېب سایټ لوستلای شي؟

دا چې یو AI مرستیال ستاسو د وېب سایټ د لوستلو اجازه لري که نه، په robots.txt کې لیکل کېږي: د هر کراولر لپاره خپله ډله؛ که نه، عمومي قاعده «User-agent: *» پلي کېږي. موخه یې مهمه ده. GPTBot او ClaudeBot د روزنې لپاره راټولول کوي، OAI-SearchBot او Claude-SearchBot د AI لټون لپاره، او ChatGPT-User یوه پاڼه راوړي کله چې څوک په چټ کې پوښتنه وکړي. دا چېک ستاسو قواعد د 27 کراولرونو لپاره لولي، llms.txt ګوري او مناسب بلاک درته لیکي.

  • وړیا
  • له نوم لیکنې پرته
  • 5 دقیقې په لنډمهالې حافظه کې

ډومېن ولیکئ او د هر کراولر لاسرسی وګورئ

راوړل · robots.txt، llms.txt او کورپاڼه

دا چېک قواعد په هماغه بڼه لولي چې نن پر سرور دي او د RFC 9309 له مخې یې ارزوي. دا چې کراولر یې مراعات کوي که نه، د هغه چلوونکی پرېکړه کوي.

لکه ihre-firma.de.‎ که کورپاڼه www.‎ ته واوړي، چېک هلته ترسره کېږي.

که څه ونه لیکئ، کورپاڼه کتل کېږي. په /blog یا /leistungen سره ګورئ چې همدا ځانګړې برخه خلاصه ده که نه.

د معلوماتو د رااخیستو لپاره ډومېن زموږ سرور ته استول کېږي. سرور robots.txt، llms.txt او د کورپاڼې لومړنۍ برخه رااخلي. ډومېن او پایله په لاګ کې نه ثبتېږي. د بیا کتنې لپاره دواړه تر پنځو دقیقو پورې په کاري حافظه (RAM) کې ساتل کېږي.

له راوړلو پرته: د robots.txt متن دننه کړئ

د بېلګې په توګه، د داسې فایل لپاره چې لا آنلاین نه دی. متن په براوزر کې پاتې کېږي؛ پورته ورکړل شوی مسیر پلي کېږي.

پایله

پورته یو ډومېن ولیکئ. راوړل څو ثانیې وخت نیسي.

کوم AI کراولرونه شته او د څه لپاره لوستل کوي

لوی خدمت‌وړاندې کوونکي د موخې له مخې څو کراولرونه لېږي. د تنظیم پر مهال همدا تر ټولو مهم ټکی دی: څوک چې «AI» بندوي، ډېری وخت د AI له لټون څخه هم وځي او هلته بیا د سرچینې په توګه نه یادېږي. له 2023 راهیسې وېب سایټونه د AI خدمت‌وړاندې کوونکي په زیاتېدونکي ډول، خو په بېلابېلو بڼو بندوي؛ څېړونکو د کارونې د شرایطو او robots.txt ترمنځ ډېر ځله تضادونه موندلي Longpre او نور 2024. له همدې امله، چېک هر کراولر جلا ښيي.

روزنه، لکه GPTBOT، CLAUDEBOT، CCBOTستاسو وېب سایټROBOTS.TXTکراولر راټولول کويراتلونکیماډلد AI لټون، لکه OAI-SEARCHBOT، PERPLEXITYBOTستاسو وېب سایټROBOTS.TXTد لټون انډېکسځواب لهسرچینهد کاروونکي په غوښتنه راوړل، لکه CHATGPT-USERپه چټ کې پوښتنهد یوې پاڼې راوړلستاسو وېب سایټروزنه، لکه GPTBOT،CLAUDEBOT, CCBOTستاسو وېب سایټROBOTS.TXTکراولر راټولول کويراتلونکی ماډلد AI لټون، لکه OAI-SEARCHBOT،PERPLEXITYBOTستاسو وېب سایټROBOTS.TXTد لټون انډېکسځواب له سرچینې سرهد کاروونکي په غوښتنه راوړل، لکه CHATGPT-USERپه چټ کې پوښتنهد یوې پاڼې راوړلستاسو وېب سایټ
انځور 1 · درې لارې چې AI پرې ستاسو وېب سایټ لوليطلايي = په ROBOTS.TXT کې ستاسو قاعده · پرې پرې کرښه = قاعده تل نه پلي کېږي
د چلوونکو د معلوماتو له مخې څلور ډولونه
ډولتوکيڅه کوي
د AI لټون11هغه انډېکس جوړوي چې AI مرستیال یا د لټون ماشین ترې له سرچینو سره ځوابونه اخلي. که بند شي، پاڼه هلته لږ یا هېڅ د سرچینې په توګه نه څرګندېږي.
روزنه6هغه منځپانګې راټولوي چې ژبني ماډلونه ترې زده کړه کوي. بندیز پر راتلونکو روزنیزو پړاوونو اغېز لري، پر لا دمخه روزل شوو ماډلونو نه.
د روزنې تنظیم2خپلواک کراولر نه دی. قاعده چلوونکي ته وايي چې هغه منځپانګه چې په هر صورت یې راوړې، د روزنې لپاره کارولای شي که نه.
د کاروونکي په غوښتنه راوړل7یوه ځانګړې پاڼه راوړي، ځکه چې یو انسان هماغه مهال د هغې په اړه پوښتنه کوي. څو چلوونکي لیکي چې robots.txt پر دې نه پلي کېږي یا تل نه پلي کېږي.

دوه توکي لا زیاتې پاملرنې ته اړتیا لري. Common Crawl پخپله هېڅ ماډل نه روزي، خو د وېب تر ټولو لوی وړیا لاسرسي وړ ارشیف جوړوي، او دا د لویو ژبنیو ماډلونو د لومړنۍ روزنې له مهمو سرچینو څخه دی Baack 2024. د بېلګې په توګه، د روزنې مشهور متني ټولګه C4 له همداسې یوه نقل څخه جوړه شوې وه Dodge او نور 2021. له همدې امله، څوک چې روزنه نه مني، CCBot هم بندوي؛ خو هغه څه چې لا دمخه په یوه نقل کې دي، هېڅ قاعده یې بېرته نه شي ایستلای. دویم Googlebot دی: دا په لېست کې دی، ځکه چې د Google د لټون AI لنډیزونه او AI حالت د هغه پر انډېکس ولاړ دي. څوک چې غواړي په Google کې وموندل شي، هغه نه بندوي.

ټول 27 شامل کراولرونه

د کراولرونو لېست، د هر چلوونکي له اسنادو سره د 14 نومبر 2026 پر نېټه کتل شوی
په robots.txt کې نومچلوونکیموخهrobots.txt اغېز لريچلوونکی څه لیکي
OAI-SearchBotOpenAIد AI لټونهو، د چلوونکي په ویناپه ChatGPT کې لټون ته معلومات برابروي. څوک چې یې بند کړي، هلته په ځوابونو کې د سرچینې په توګه نه څرګندېږي.
Claude-SearchBotAnthropicد AI لټونهو، د چلوونکي په ویناپه Claude کې له لټون سره مرسته کوي. که بند شي، پاڼه هلته په پایلو کې لږ څرګندېږي.
GooglebotGoogleد AI لټونهو، د چلوونکي په ویناد Google د لټون کراولر. د AI لنډیزونه او AI حالت هم له همدې انډېکس څخه کار اخلي؛ هلته د nosnippet، max-snippet او noindex له لارې کنټرولېږي.
PerplexityBotPerplexityد AI لټونهو، د چلوونکي په ویناهغه انډېکس جوړوي چې Perplexity ترې سرچینو ته لینکونه ورکوي. د چلوونکي په وینا، د ماډلونو د روزنې لپاره نه دی.
ApplebotAppleد AI لټونهو، د چلوونکي په ویناپه Siri، Spotlight او Safari کې د لټون کراولر. د Apple په وینا، ډېټا د Apple د ماډلونو په روزنه کې هم کارېدلی شي؛ د دې لپاره Applebot-Extended شته.
meta-webindexerMetaد AI لټونهو، د چلوونکي په ویناپه Meta AI کې د لټون لپاره انډېکس جوړوي، څو Meta منځپانګې د سرچینې په توګه یادې کړي او لینکونه ورته ورکړي.
Amzn-SearchBotAmazonد AI لټونهو، د چلوونکي په ویناد Alexa په څېر د Amazon محصولاتو د لټون دندو لپاره؛ د Amazon په وینا د روزنې لپاره نه دی.
bingbotMicrosoftد AI لټونهو، د چلوونکي په ویناد Bing کراولر. Microsoft د AI لپاره جلا پېژند نه ښيي؛ د روزنې او AI ځوابونو لارښوونې له فبروري 2027 څخه Bingbot ته متوجه دي.
MistralAI-IndexMistralد AI لټونهو، د چلوونکي په وینایوازې د لټون د انډېکس لپاره وېب پاڼې ګوري؛ د Mistral په وینا، د روزنې لپاره نه دی.
DuckAssistBotDuckDuckGoد AI لټونهو، د چلوونکي په ویناد DuckDuckGo د AI ځوابونو لپاره په هماغه وخت کې پاڼې راوړي او سرچینې یې یادوي. د چلوونکي په وینا، د روزنې لپاره نه دی.
YouBotYou.comد AI لټونهو، د چلوونکي په ویناد You.com د لټون ماشین کراولر. د Crawl-delay په ګډون robots.txt مراعات کوي.
GPTBotOpenAIروزنههو، د چلوونکي په ویناهغه منځپانګې راټولوي چې د OpenAI د ماډلونو په روزنه کې کارېدلی شي. د OpenAI په وینا، بندول یې دا مانا لري: د روزنې لپاره یې مه کاروئ.
ClaudeBotAnthropicروزنههو، د چلوونکي په ویناهغه منځپانګې راټولوي چې د Anthropic د ماډلونو په روزنه کې کارېدلی شي. Anthropic د robots.txt او Crawl-delay دواړو مراعات کوي.
meta-externalagentMetaروزنههو، د چلوونکي په ویناد AI ماډلونو د روزنې او د Meta د محصولاتو لپاره راټولول کوي.
AmazonbotAmazonروزنههو، د چلوونکي په ویناد Amazon محصولات ښه کوي؛ په دې کې د Amazon د AI ماډلونو روزنه هم شاملېدای شي. Crawl-delay نه مراعات کوي.
MistralAI-TrainingMistralروزنههو، د چلوونکي په ویناد Mistral ماډلونو د روزنې ډېټا لپاره منځپانګې راټولوي.
CCBotCommon Crawlروزنههو، د چلوونکي په ویناد وېب یو وړیا لاسرسي وړ ارشیف جوړوي. Common Crawl پخپله هېڅ نه روزي، خو ارشیف یې د روزنې د ډېټا له مهمو سرچینو څخه دی.
Google-ExtendedGoogleد روزنې تنظیمهو، د چلوونکي په ویناخپلواک کراولر نه دی، بلکې یو تنظیم دی: ایا د Google راوړې منځپانګې د راتلونکو Gemini ماډلونو په روزنه او د Gemini د ځوابونو په مستندولو کې کارېدلی شي؟ د Google په وینا، دا د Google پر لټون اغېز نه لري.
Applebot-ExtendedAppleد روزنې تنظیمهو، د چلوونکي په ویناخپلواک کراولر نه دی. که بند شي، Apple منځپانګې د خپلو ماډلونو د روزنې لپاره نه کاروي؛ پاڼه په لټون کې پاتې کېږي.
ChatGPT-UserOpenAIد کاروونکي په غوښتنه راوړلتل نهیوه پاڼه راوړي کله چې څوک په ChatGPT کې د هغې په اړه پوښتنه وکړي. د OpenAI په وینا، ښايي د robots.txt قواعد پرې پلي نه شي.
Claude-UserAnthropicد کاروونکي په غوښتنه راوړلهو، د چلوونکي په ویناکله چې کاروونکي په Claude کې پوښتنه وکړي، پاڼې راوړي. Anthropic لیکي چې بوټونه یې robots.txt مراعات کوي.
Google-AgentGoogleد کاروونکي په غوښتنه راوړلتل نهد یوه کاروونکي په استازیتوب وېب ګوري او کړنې ترسره کوي. د Google په وینا، د کاروونکو په غوښتنه راوړل عموماً له robots.txt تېرېږي.
Perplexity-UserPerplexityد کاروونکي په غوښتنه راوړلتل نهکله چې کاروونکی پوښتنه وکړي، پاڼې راوړي. د Perplexity په وینا، عموماً robots.txt له پامه غورځوي.
meta-externalfetcherMetaد کاروونکي په غوښتنه راوړلتل نهد کاروونکي په غوښتنه د ځانګړو لینکونو منځپانګې راوړي، د AI اېجنټونو لپاره هم. د Meta په وینا، له robots.txt تېرېدای شي.
Amzn-UserAmazonد کاروونکي په غوښتنه راوړلتل نهد کاروونکي د یوې پوښتنې لپاره تازه ډېټا راوړي، لکه Alexa ته د پوښتنې لپاره. د Amazon په وینا، د robots.txt ټول قواعد نه مراعات کوي.
MistralAI-UserMistralد کاروونکي په غوښتنه راوړلهو، د چلوونکي په ویناکله چې کاروونکی پوښتنه وکړي، یوه پاڼه راوړي او د سرچینې په توګه لینک ورته ورکوي. د Mistral په وینا، د robots.txt ډله ټاکي چې کومې پاڼې د دې لپاره کارېدلی شي.
BytespiderByteDanceناڅرګندثبوت نشتهد چلوونکي اسناد ونه موندل شول. موخه او له robots.txt سره چلند یې مستند نه دي.

نه دي شامل شوي: د بوټونو له فهرستونو هغه نومونه چې چلوونکی یې پخپله نه یادوي، لکه anthropic-ai یا cohere-ai.‎ Cohere د خپلو اسنادو له مخې اوس مهال هېڅ کراولر نه چلوي؛ Microsoft د AI لپاره جلا پېژند نه ښيي او د AI لارښوونې یې bingbot ته متوجه دي. تازه حالت: 14 نومبر 2026.

روزنه بنده کړئ، د AI لټون ته اجازه ورکړئ: مناسب بلاک

ډېری کاروبارونه همدا غواړي: د ChatGPT، Claude یا Perplexity په ځوابونو کې د سرچینې په توګه څرګند شي، خو له پوښتنې پرته د روزنې مواد ورنه کړي. د جوړونکي لومړني تنظیمات همداسې دي. دا هره ډله جلا او یوازې له Allow او Disallow سره، له ځای‌ناستو نښو پرته لیکي، ځکه چې سوداګریز کراولرونه هم ځینې قواعد بیا بیا ناسم درک کوي Giles او نور 2010. دا بلاک خپلې موجودې robots.txt ته ورزیات کړئ؛ د «User-agent: *» ډله پر خپل حال پاتې کېږي.

جوړونکی · د robots.txt بلاک

ایا د AI خدمت‌وړاندې کوونکي ستاسو منځپانګې د روزنې لپاره کارولای شي؟

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, MistralAI-Training, CCBot, Bytespider

ایا د AI د لټون خدمتونه ستاسو پاڼې لوستلای او د سرچینې په توګه یې یادولای شي؟

OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer, Amzn-SearchBot, MistralAI-Index, DuckAssistBot, YouBot

ایا مرستیالان یوه پاڼه راوړلای شي کله چې څوک یې وغواړي؟

ChatGPT-User, Claude-User, Google-Agent, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User

هغه څه چې ستاسو په robots.txt کې د «User-agent: *» لاندې بند دي، دلته ولیکئ. په نوم ټاکل شوي کراولرونه دا قواعد په میراث نه اخلي.

# KI-Crawler, erstellt mit dem KI-Crawler-Check von aureum-tech.com (Crawler-Liste Stand 14. November 2026)
# Training: gesperrt · KI-Suche: erlaubt · Nutzerabrufe: erlaubt
# Jeder Crawler befolgt nur die Gruppe mit seinem Namen. Was für alle gesperrt sein soll, steht deshalb in jeder Gruppe.

# Training (Schalter wie Google-Extended crawlen nicht selbst, sie regeln nur die Nutzung)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: MistralAI-Training
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

# KI-Suche: liefert Antworten mit Quellenangabe
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: meta-webindexer
Allow: /

User-agent: Amzn-SearchBot
Allow: /

User-agent: MistralAI-Index
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: YouBot
Allow: /

# Nutzerabrufe: laut mehreren Betreibern nicht immer an robots.txt gebunden
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Google-Agent
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: meta-externalfetcher
Allow: /

User-agent: Amzn-User
Allow: /

User-agent: MistralAI-User
Allow: /

# Gemeinsames Trainingssignal (IETF-Entwurf vom 30.10.2026, mehrere Anbieter haben es angekündigt)
User-agent: __usage_ai-training
Disallow: /

جوړونکی په براوزر کې کار کوي او هېڅ نه لېږي.

جوړونکی · د llms.txt چوکاټ

یوازې هغه پاڼې چې ستاسو robots.txt یې د AI لټون ته اجازه ورکوي. چوکاټ د llmstxt.org له وړاندیز سره سم جوړېږي.

# Name Ihrer Firma

> Ein Satz: Wer Sie sind, was Sie anbieten und wo.

## Wichtige Seiten

- [Leistungen](https://ihre-firma.de/leistungen): Was Sie anbieten
- [Kontakt](https://ihre-firma.de/kontakt): Telefon, Adresse, Öffnungszeiten

## Optional

- [Impressum](https://ihre-firma.de/impressum)

په براوزر کې کار کوي. فایل د llms.txt په نوم د وېب سایټ په اصلي فولډر کې ځای پر ځای کېږي.

تر ټولو عامه تېروتنه: ډلې هېڅ قواعد په میراث نه اخلي

یو کراولر یوازې د خپل نوم ډله مراعات کوي. که دا ډله موجوده وي، عمومي قاعده بیا پر هغه نه پلي کېږي، حتی یوه برخه یې هم نه. د ښي لوري په بېلګه کې «User-agent: *» د /intern/ برخه بندوي، خو GPTBot خپله ډله له «Allow: /» سره لري.

د /intern/preise لپاره پایله: ClaudeBot بند دی (کرښه 2: Disallow: /intern/ (ډله *))، خو GPTBot د لوستلو اجازه لري (کرښه 5: Allow: / (ډله GPTBot)). نو هغه څه چې باید د ټولو لپاره بند وي، باید په هرې نومول شوې ډلې کې ولیکل شي. په جوړونکي کې دا برخې یو ځل ولیکئ، هغه یې هر ځای تکراروي.

User-agent: *
Disallow: /intern/

User-agent: GPTBot
Allow: /

د روزنې ګډ سیګنال

له 30 اکتوبر 2026 راهیسې په IETF کې یوه مسوده شته چې غواړي د جلا جلا بندولو کار لنډ کړي: د «User-agent: __usage_ai-training» یوه ډله له «Disallow: /» سره ټولو ګډونوالو خدمت‌وړاندې کوونکو ته په یو ځل وايي چې تاسو روزنه نه غواړئ. مسیرونه د معمول په څېر کار کوي؛ «Allow: /presse/» د مطبوعاتو فولډر مستثنا کوي. دا ډله د کراول کولو کمانډ نه دی او په څرګنده ویل شوي چې عمومي قاعده «User-agent: *» د دې لپاره نه حسابېږي. ځکه چې مسوده نوې ده او هر خدمت‌وړاندې کوونکی یې لا نه لولي، جوړونکی دواړه لیکي: جلا ډلې او سیګنال.

د خپلو څرګندونو له مخې څوک د روزنې سیګنال په پام کې نیسي
چمتو کوونکیله کله
Anthropicله 30 اکتوبر 2026 راهیسې؛ د ClaudeBot په نوم ډله لومړیتوب لري
Microsoft (Bing)له 1 فبروري 2027 څخه
Googleد 2027 لپاره پلان شوی؛ که د Google-Extended جلا ډله نه وي، Google بیا «نه» د بند شوي Google-Extended په څېر ارزوي
OpenAI«په راتلونکو میاشتو کې»؛ د GPTBot قواعد پاتې کېږي

سرچینه: draft-kelley-aipref-training-preference-signal-00، د معیار حیثیت نه لري، د 3 مې 2027 پر نېټه یې اعتبار پای ته رسېږي. تازه حالت: 14 نومبر 2026.

یو کراولر ستاسو robots.txt داسې لولي

له سپتمبر 2022 راهیسې دا کړنلاره په RFC 9309 کې ټاکل شوې او چېک هم پر همدې بنسټ محاسبه کوي. فایل تل په اصلي فولډر کې د /robots.txt په پته وي او یوازې پر هماغه ځانګړي کوربه پلي کېږي: که ihre-firma.de، www.ihre-firma.de ته واوړي، پر www موجود فایل حسابېږي. کراولر د خپل نوم ډله لټوي، د لویو او کوچنیو تورو توپیر مهم نه دی؛ که نه وي، «User-agent: *» اخلي، او که هغه هم نه وي، د هر څه اجازه لري. د ډلې دننه تر ټولو اوږده سمون‌لرونکې قاعده لومړیتوب لري؛ که اوږدوالی یو شان وي، Allow لومړیتوب لري. ستوری د هر ډول تورو او نښو استازیتوب کوي، او په پای کې د ډالر نښه د پتې پای ښيي.

لا په 2007 کې پر 7.593 وېب سایټونو یوې سروې وښودله چې دا فایل په زیاتېدونکي ډول کارول کېږي، او دا یې هم روښانه کړه چې ماهیت یې څه دی: یوه قاعده چې اصول مراعاتوونکي کراولرونه یې مني، د جبري پلي کولو وسیله نه ده Sun او نور 2007. دا خبره لا هم پر خپل ځای ده.

د robots.txt د حالت کوډ څه مانا لري
ځوابRFC 9309Google
200، متني فایلقواعد پلي کېږي، لږ تر لږه 500 KiB لوستل کېږيهمداسې؛ له 500 KiB وروسته هر څه له پامه غورځول کېږي
200، خو یوه وېب پاڼههېڅ باوري کرښه نشته، نو هېڅ قاعده نشتههمداسې
404 او نور 4xxrobots.txt نشته، د هر څه اجازه شتهله 429 پرته د هر څه اجازه شته
429، ډېرې غوښتنېد 4xx په څېرد سرور د تېروتنې په څېر
5xx یا لاسرسی ورته نشتههر څه بند دي12 ساعته کراول نه کېږي، وروسته تر 30 ورځو پورې وروستۍ سالمه نسخه کارول کېږي
بلې پتې ته لېږدلږ تر لږه پنځه لېږدونه تعقیبويلږ تر لږه پنځه؛ وروسته د 404 په څېر

Google فایل عموماً تر 24 ساعتونو پورې ساتي، Amazon تر 30 ورځو پورې. له همدې امله بدلونونه سمدستي اغېز نه کوي. زموږ د راوړلو بهیر تر ډېره درې لېږدونه تعقیبوي. تازه حالت: 14 نومبر 2026.

پخپله پر پاڼو لارښوونې

له robots.txt پرته د هرې پاڼې لپاره هم لارښوونې شته، د پاڼې په سر کې د Meta-Tag په بڼه یا د سرور په ځواب کې د X-Robots-Tag په بڼه. چېک دا لارښوونې پر کورپاڼه لولي. د AI لپاره په ځانګړي ډول دا مهمې دي: noindex پاڼه د لټون له انډېکس او په دې توګه د AI له لنډیزونو هم وباسي؛ nosnippet په Google کې د متن لنډ اقتباس منع کوي، د AI په لنډیزونو او AI حالت کې هم. Amazon، noarchive د «روزنې لپاره یې مه کاروئ» په مانا لولي. Microsoft له 1 فبروري 2027 څخه د روزنې او مستندولو لپاره خپلې لارښوونې (ai-training، ai-grounding) معرفي کوي او له مارچ 2027 څخه noarchive او nocache نور د AI د لارښوونو په توګه نه لولي. د «noai» په څېر لارښوونې عامې دي، خو زموږ په لېست کې هېڅ چلوونکي مستندې کړې نه دي.

robots.txt څه نه شي کولای

  • دا یوه غوښتنه ده. له 130 نومول شوو بوټونو سره د 40 ورځو په ازموینو کې، بوټونو سخت قواعد لږ مراعات کړل او د AI د لټون کراولرونو ډېر ځله فایل له سره ونه غوښت Kim او نور 2025.
  • دا یوازې د نومونو له لارې اغېز لري. په ځانګړي ډول چمتو شوو وېب سایټونو دا ثابته کړه چې کوم راوړونکی کوم AI سیسټم ته مواد برابروي؛ په دې کې څو داسې هم وو چې چلوونکي یې نه څرګندوي Seiden او نور 2026. څوک چې د بل نوم لاندې راځي، د خپلې قاعدې سره نه مخ کېږي.
  • د کاروونکو په غوښتنه راوړل کله ناکله له قواعدو تېرېږي. OpenAI، Perplexity، Meta، Amazon او Google پخپله لیکي چې د کاروونکو په غوښتنه یې راوړل تل robots.txt نه مراعات کوي. Anthropic او Mistral دا فایل د دې ډول راوړلو د کنټرول لپاره هم یادوي.
  • قطعي بندیزونه پر سرور لګېږي. هنرمندانو د robots.txt لپاره ډېری وخت اړینه پوهه یا خپل وېب سایټ ته لاسرسی نه درلود؛ پر Reverse-Proxy بندیزونو لا اغېزمن خوندیتوب ورکړ Liu او نور 2025. له بلې خوا، ځینې کوربه‌خدمتونه او د وېب سایټ جوړولو سیسټمونه د خاوند له خبرتیا پرته کراولرونه بندوي: د Common Crawl په یوه نقل کې شاوخوا 1,68 سلنه وېب سایټونو کراولر په څرګنده رد کړی و Ansar او نور 2025. که ستاسو کورپاڼه زموږ غوښتنې ته د تایید له پاڼې سره ځواب ورکړي، چېک دا خبر درکوي.
  • زموږ راوړونکی AI کراولر نه دی. سرور د خپل پېژند په کارولو غوښتنه کوي. که یو فایروال کراولرونه د نوم له مخې بندوي، لکه په Cloudflare کې د یوه تنظیم له لارې، چېک دا نه شي لیدلای.

او له قانوني پلوه؟

د § 44b Abs.‎ 3 UrhG له مخې، پر ازاد لاسرسي وړ اثارو د متن او ډېټا کان‌کېندنه اجازه لري، تر هغه چې د حق خاوند دا حق ځان ته خوندي نه کړي؛ د انټرنېټ د منځپانګو لپاره یوازې په ماشین‌لوستونکې بڼه د حق خوندي کول اعتبار لري. robots.txt ماشین‌لوستونکې ده، خو دا چې د حق خوندي کولو لپاره بسنه کوي که نه، لا په قطعي ډول نه ده روښانه شوې. یوه حقوقي څېړنه د Common Law هېوادونو لپاره استدلال کوي چې له فایل څخه تېرېدل په ځینو شرایطو کې د قانوني مسؤلیت لامل کېدای شي Chang او He 2025؛ د جرمني لپاره دا باید جلا وکتل شي. نو څوک چې غواړي خپل حق خوندي اعلان کړي، دا دې په قانوني معلوماتو (Impressum) یا د کارونې په شرایطو کې هم ولیکي. دا حقوقي مشوره نه ده.

llms.txt: فایل څه کولای شي او څه نه شي کولای

Jeremy Howard د llms.txt وړاندیز د 3 سپتمبر 2024 پر نېټه وکړ؛ تشریح یې پر llmstxt.org شته. دا د /llms.txt په پته د Markdown یو فایل دی: له نوم سره یو سرلیک، چې یوازینۍ لازمي برخه ده، ورپسې د اقتباس په بڼه لنډه پېژندنه، او که وغواړئ څو جملې او مهمو پاڼو ته د لینکونو لېست لرونکې برخې. د «Optional» برخه هغه څه ساتي چې مرستیال یې پرېښودلای شي.

د شاوخوا 4 میلیونو ډومېنونو په یوه اندازه کې دا فایل تر ډېره په تخنیکي شرکتونو کې وموندل شو، او ځینې لینکونه یې هغو پاڼو ته تلل چې د هماغه سایټ robots.txt بندې کړې وې Hoffmann او نور 2026. چېک همدا ګوري. بندو پاڼو ته لارښوونه بې‌پایلې ده.

رښتیا دا ده: Google د AI لنډیزونو په خپلو اسنادو کې لیکي چې د دې لپاره د نوو ماشین‌لوستونکو فایلونو جوړول اړین نه دي، او دلته له شاملو چلوونکو څخه هېڅ یو د خپل کراولر په اسنادو کې نه لیکي چې د نورو وېب سایټونو llms.txt لولي. نو دا د لیدل کېدو د زیاتولو وسیله نه ده. خو بیا هم ګټوره ده: د ځان یوه لنډه او روښانه پېژندنه چې مرستیال یې د کاروونکي په غوښتنه لوستلای شي، او په لسو دقیقو کې چمتو کېږي.

زموږ خپله فایل پر aureum-tech.com/llms.txt شته. ستاسو د فایل چوکاټ پورته جوړونکی جوړوي.

د لوستلو اجازه دا مانا نه لري چې نوم به مو هم یاد شي

چېک یوې لومړنۍ پوښتنې ته ځواب ورکوي. دا چې ChatGPT ستاسو شرکت یادوي که نه، کله چې څوک په پلاوېن (Plauen) کې د برېښناکار پوښتنه وکړي، ستاسو د پاڼو په منځپانګه او پر هغه څه پورې تړاو لري چې نور یې ستاسو په اړه لیکي. په ازموینو کې د منځپانګې په برابرولو سره د AI په ځوابونو کې د سرچینو لیدل کېدل تر 40 سلنې پورې زیات شوي؛ د هرې تخصصي برخې لپاره بېلابېل میتودونه کارېدلي Aggarwal او نور 2024. په Google کې د 55.393 لټون غوښتنو په یوه اندازه کې، په 13,7 سلنه مواردو او د پوښتنو په 64,7 سلنه مواردو کې د AI لنډیز څرګند شو، او هلته د یادو شوو ډومېنونو نږدې 30 سلنه د لومړۍ پاڼې په پایلو کې نه وو Xu او نور 2026.

یادېدل دا مانا هم نه لري چې په سمه توګه مو حواله ورکړل شوې ده. د AI په څلورو لټون ماشینونو کې، په منځنۍ توګه یوازې له نیمایي لږ زیاتې جملې د ورکړل شوو سرچینو له خوا تاییدېدې Liu او نور 2023. او څوک چې د Google د AI کراولر بندوي، د AI په لنډیزونو کې لږ د سرچینې په توګه کارول کېږي، که څه هم Google لیکي چې دا تنظیم پر لټون اغېز نه لري Grossman او نور 2026.

ستاسو شرکت په ChatGPT، Perplexity او د Google په AI کې په رښتیا څومره لیدل کېږي، دا د SpotLens چټک چېک ښيي. دا چې موږ منځپانګه او جوړښتي ډېټا څنګه برابروو څو د AI لټونونه یې د سرچینې په توګه یاد کړي، د AI-SEO په برخه کې لیکل شوي. څوک چې غواړي لومړی پخپله وګوري، په لارښود کې موندلای شي چې څنګه په ChatGPT کې لیدل کېدل وګوري او د کاروبارونو لپاره په AI کې لیدل کېدل څه مانا لري. جلا قواعد په د robots.txt ازموینه کې وازمویئ؛ د موندل کېدو نور اوزار د SEO او لیدل کېدل په برخه کې شته.

څېړنه په دې اړه څه وايي

د چېک ارزونه پر 15 علمي ارزول شوو څېړنو ولاړه ده. مهمې موندنې دلته دي؛ بشپړ لېست له ارزونې یادښت سره لاندې دی.

  • بندیزونه زیاتېږي، خو یو شان نه دي. د یوه کال په موده کې د AI د روزنې د ډېټا د سرچینو لویې برخې بندې شوې، د خدمت‌وړاندې کوونکي له مخې په بېلابېلو بڼو Longpre او نور 2024. له همدې امله چېک کراولرونه جلا ښيي.
  • قواعد په انتخابي ډول مراعات کېږي. څومره چې قاعده سخته وه، بوټونو هومره لږ مراعاتوله Kim او نور 2025. له همدې امله چېک هغه څه نه اندازه کوي چې اندازه کولای یې نه شي، او دا په څرګنده وايي.
  • روزنه له ارشیفونو کار اخلي. Common Crawl د لومړنۍ روزنې له مهمو سرچینو څخه دی Baack 2024، او د C4 په څېر متني ټولګې له جلا نقلونو جوړېږي Dodge او نور 2021. له همدې امله چېک خبرداری ورکوي که CCBot خلاص پاتې شي.
  • د AI لنډیزونه خپلې سرچینې ټاکي. ډېر یاد شوي ډومېنونه په لومړۍ پاڼه کې نه وي Xu او نور 2026، او د AI کراولرونو بندول له لږو یادونو سره تړاو لري Grossman او نور 2026.
  • llms.txt نوې ده او ډېری وخت تضادونه لري. په فایل کې ځینې لینکونه بندو پاڼو ته ځي Hoffmann او نور 2026؛ چېک د هماغه وېب سایټ هر لینک ګوري.

دا وسیله له AI مرستیال څخه وکاروئ

هغه مرستیالان لکه Claude یا ChatGPT چې Model Context Protocol (MCP) کاروي، کولی شي د دې پاڼې محاسبه مستقیم وکاروي، پرته له دې چې بیا یې جوړه کړي. سرور عامه دی، نوم لیکنې ته اړتیا نه لري او هېڅ نه ساتي. ځواب تل د دې پاڼې لینک، د معلوماتو نېټه او د پایلې حدود لري.

اېنډپواینټ
https://aureum-tech.com/mcp
وسیله
werkzeug_ki_crawler_check
ټرانسپورټ
Streamable HTTP، یوازې لوستل
ننوتنې
نوماړینمانا
domainنهد وېب سایټ ډومېن، لکه ihre-firma.de یا https://www.ihre-firma.de.‎ مسیر له پامه غورځول کېږي؛ robots.txt تل په اصلي فولډر کې وي. یوازې عامه وېب سایټونه، پورټ 80 یا 443.
robots_txtنهد ډومېن پر ځای: د robots.txt متن، چې له راوړلو پرته ارزول کېږي. له domain سره یې یو ځای مه ورکوئ.
pfadنههغه مسیر چې کتل کېږي، لکه /blog/artikel.‎ که څه ونه لیکئ، کورپاڼه «/» کتل کېږي.

هغه پوښتنې چې مرستیال باید دا وسیله ورته وکاروي

  • «ایا ChatGPT زما وېب سایټ handwerk-muster.de لوستلای شي؟»
  • «ایا زموږ robots.txt په تېروتنه د Perplexity او ChatGPT د AI لټون بندوي؟»
  • «څنګه د AI روزنه منع کړم، خو د ChatGPT او Claude په لټون کې لیدل کېدونکی پاتې شم؟»
  • «ایا www.beispiel-praxis.de د llms.txt فایل لري، او لینکونه یې بندو پاڼو ته ځي؟»

نښلون څنګه کار کوي او MCP ستاسو په خپل کاروبار کې څه کولی شي، د MCP نښلونو په پاڼه کې لیکل شوي.

د AI کراولرونو، robots.txt او llms.txt په اړه عامې پوښتنې

څنګه د AI روزنه بنده کړم، خو د ChatGPT په لټون کې پاتې شم؟

OpenAI دا دواړه جلا ساتي: GPTBot د روزنې لپاره راټولول کوي، OAI-SearchBot په ChatGPT کې د لټون لپاره، او هر تنظیم جلا اغېز لري. نو په robots.txt کې GPTBot ته «Disallow: /» او OAI-SearchBot ته «Allow: /» ورکول کېږي. په Anthropic کې همدا کار د ClaudeBot او Claude-SearchBot لپاره کېږي؛ په Google کې Google-Extended بندوئ او Googlebot پر خپل حال پرېږدئ. د دې پاڼې جوړونکی د ټولو شاملو خدمت‌وړاندې کوونکو لپاره بشپړ بلاک لیکي.

د GPTBot، OAI-SearchBot او ChatGPT-User ترمنځ توپیر څه دی؟

GPTBot هغه منځپانګې راټولوي چې د راتلونکو ماډلونو په روزنه کې کارېدلی شي. OAI-SearchBot هغه انډېکس جوړوي چې ChatGPT یې د لټون پر مهال سرچینې یادوي؛ د OpenAI په وینا، څوک چې یې بند کړي، هلته په ځوابونو کې نه څرګندېږي. ChatGPT-User یوه ځانګړې پاڼه راوړي، ځکه چې یو څوک هماغه مهال په چټ کې د هغې په اړه پوښتنه کوي. د OpenAI په وینا، ښايي د robots.txt قواعد پر دې راوړلو پلي نه شي.

که Google-Extended بند کړم، زما وېب سایټ له Google څخه وځي؟

نه. Google-Extended خپلواک کراولر نه دی، بلکې داسې تنظیم دی چې ټاکي Google راوړل شوې منځپانګه د Gemini د روزنې او د Gemini د ځوابونو د مستندولو لپاره کارولای شي که نه. د Google په وینا، دا نه په لټون کې پر شاملېدو اغېز لري او نه پر درجه‌بندۍ. د Google د لټون AI لنډیزونه په Googlebot او د nosnippet په څېر د متن د لنډو اقتباسونو په قواعدو پورې تړلي دي. خو د 2026 یوې اندازې وښودله چې هغه پاڼې چې د Google د AI کراولر یې بند کړی و، د AI په لنډیزونو کې لږ ځله د سرچینې په توګه کارېدلې.

ایا llms.txt ته اړتیا لرم؟

دا لازمي نه ده. llms.txt د Jeremy Howard د سپتمبر 2024 وړاندیز دی: د Markdown یو فایل چې سرلیک، لنډه پېژندنه او مهمو پاڼو ته لینکونه لري. Google په څرګنده لیکي چې د AI لنډیزونو لپاره نوو ماشین‌لوستونکو فایلونو ته اړتیا نشته، او دلته له شاملو چلوونکو څخه هېڅ یو د خپل کراولر په اسنادو کې نه لیکي چې دا فایل لولي. زیان نه لري او ژر جوړېږي؛ جوړونکی یې چوکاټ درکوي. مهمه دا ده چې لینکونه یې بندو پاڼو ته ونه رسېږي.

ایا هر کراولر د robots.txt مراعات کوي؟

نه. robots.txt یوه غوښتنه ده، قلف نه دی. اندازې ښيي چې بوټونه سخت قواعد لږ مراعات کوي او د AI د لټون کراولرونه ډېری وخت دا فایل هېڅ نه غواړي. د ChatGPT-User، Perplexity-User یا meta-externalfetcher په څېر د کاروونکو په غوښتنه راوړل، د هغوی د چلوونکو په وینا، کله ناکله له robots.txt تېرېږي، او څوک چې بې‌نومه راټولول کوي، د هېڅ قاعدې په نوم نه راځي. څوک چې رښتیا لاسرسی بندول غواړي، باید پر سرور یا د کوربه‌خدمت چمتو کوونکي په کچه یې بند کړي.

ایا بندیز پر هغو ماډلونو هم پلي کېږي چې لا دمخه روزل شوي دي؟

نه. OpenAI او Anthropic بندیز د راتلونکې روزنې لپاره لارښوونه بولي. د روزنې ډېټا د وېب له ثابتو نقلونو جوړېږي، لکه د Common Crawl له ارشیف څخه؛ هغه څه چې هلته لا دمخه شته، همالته پاتې کېږي. له همدې امله، که روزنه نه منئ، ښه ده چې CCBot هم په پام کې ونیسئ.

«User-agent: __usage_ai-training» څه مانا لري؟

دا د 30 اکتوبر 2026 د IETF د یوې مسودې له مخې د روزنې ګډ سیګنال دی. په دې نوم یوه ډله چې «Disallow: /» ولري، ټولو ګډونوالو خدمت‌وړاندې کوونکو ته په یو ځل وايي چې تاسو روزنه نه غواړئ. Anthropic د خپلې وینا له مخې دا لا دمخه په پام کې نیسي، Microsoft یې له 1 فبروري 2027 څخه په پام کې نیسي، Google یې د 2027 لپاره او OpenAI یې د راتلونکو میاشتو لپاره پلان لري. دا د کراول کولو کمانډ نه دی او په څرګنده ویل شوي چې د «User-agent: *» ډله د دې لپاره نه حسابېږي.

د AI کراولر چېک تر کومه کار کوي؟

دا ستاسو د robots.txt قواعد، llms.txt او د کورپاڼې Robots لارښوونې لولي او د هر کراولر لپاره وايي چې څه اجازه لري. دا نه اندازه کوي چې کراولر یې مراعات کوي که نه، او نه دا چې AI مرستیال ستاسو شرکت پېژني او سپارښتنه یې کوي که نه. دا د SpotLens چټک چېک ښيي؛ دا چې منځپانګې باید څنګه جوړې شي څو د AI لټونونه یې د سرچینې په توګه یادې کړي، د AI-SEO په برخه کې لیکل شوي. که وغواړئ، موږ دا فایلونه درته تنظیموو.

دا وسیله پر څه ولاړه ده

پورته اټکلي ارزښتونه او لارښوونې پر دې 15 علمي څېړنو ولاړې دي. هره یوه د خپل DOI یا د خپرونکي د پاڼې له لارې کتل شوې (وروستی ځل په 14 نومبر 2026): شته، بېرته اخیستل شوې نه ده، او پایله یې نن هم د دې پوښتنې لپاره اعتبار لري.

  1. Sun, Y.; Zhuang, Z.; Giles, C.‎ L.‎ (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007)، مخونه 1123–1124

    موندنه پر 7.593 وېب سایټونو پنځه سروې ښيي چې robots.txt په زیاتېدونکي ډول کارول کېږي. فایل د جبري پلي کولو وسیله نه ده، بلکې یوه قاعده ده چې اصول مراعاتوونکي کراولرونه یې مني.

    په وسیله کې د پاڼې بنسټیز اصل تاییدوي: robots.txt کراولرونو ته یوه غوښتنه ده، قلف نه دی.

  2. Giles, C.‎ L.; Sun, Y.; Councill, I.‎ G.‎ (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010)، مخونه 1101–1102

    موندنه ډېری سوداګریز کراولرونه له قواعدو سره سم چلند کاوه، خو ډېرو یې بیا بیا د robots.txt ځینې قواعد ماتول یا ناسم درک کول.

    په وسیله کې له همدې امله جوړونکی هره ډله جلا او یوازې له Allow او Disallow سره، له ځای‌ناستو نښو پرته لیکي.

  3. Kim, T.; Bock, K.; Luo, C.‎ او نور (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، مخونه 541–557

    موندنه د 40 ورځو په کنټرول شوو ازموینو کې، چې 130 نومول شوي بوټونه پکې شامل وو، بوټونو سخت قواعد لږ مراعاتول؛ د AI لټون کرالرونو ډېری وخت robots.txt هېڅ نه غوښتله.

    په وسیله کې د «قواعد لوستل، د چلند نه اندازه کول» محدودیت او د بندو کارن غوښتنو په اړه یادونه توجیه کوي.

  4. Liu, E.; Luo, E.; Shan, S.‎ او نور (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، مخونه 78–99

    موندنه اندازه کول او له 203 هنرمندانو څخه پوښتنه ښيي چې robots.txt ته ډېره اړتیا شته، خو د پوهې او خپل وېب سایټ ته د لاسرسي خنډونه شته. په رېورس پراکسي کې بندیزونو اغېزمنه ساتنه کوله، خو لږ کارول کېږي.

    په وسیله کې له همدې امله د کلک بندیز لپاره د کوربه خدمت یا پراکسي د کارولو سپارښتنه کېږي، او جوړونکی د تخنیکي اصطلاحاتو مخکینۍ پوهه نه غواړي.

  5. Seiden, S.; Ren, T.; Zhang, C.‎ او نور (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026)، مخونه 6998–7012

    موندنه په ځانګړي ډول چمتو شوو وېب سایټونو او 22 AI سیسټمونو سره معلومه شوه چې کوم رااخیستونکی کوم ماډل ته منځپانګه برابروي؛ په دې کې څو داسې هم وو چې چلوونکي یې نه افشا کوي.

    په وسیله کې دا محدودیت تاییدوي چې جدول یوازې هغه کرالرونه پېژني چې چلوونکي یې په خپل نوم مستند کړي دي.

  6. Longpre, S.; Mahari, R.; Lee, A.‎ او نور (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، مخونه 108042–108087

    موندنه د AI د روزنې ډېټا د 14.000 سرچینه ډومېنونو پلټنې په یوه کال کې د بندیزونو ډېر زیاتوالی، د AI برابروونکو ترمنځ لوی توپیرونه او د کارولو د شرایطو او robots.txt ترمنځ پرله‌پسې تضادونه وموندل.

    په وسیله کې له همدې امله چېک هر کرالر جلا ښيي، د دې پر ځای چې یوازې «AI ته اجازه شته» یا «AI بند دی» ووایي.

  7. Baack, S.‎ (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024)، مخونه 2199–2208

    موندنه Common Crawl د وېب ډېټا تر ټولو لویه په ازاده توګه د لاسرسي وړ ټولګه او د لویو ژبنیو ماډلونو د لومړنۍ روزنې له مهمو سرچینو څخه ده؛ ډېر وخت د روزنیزو موادو لویه برخه جوړوي.

    په وسیله کې له همدې امله CCBot د روزنې تر کټګورۍ لاندې دی، او چېک خبرداری ورکوي که ځینې روزنیز کرالرونه بند وي، خو CCBot بند نه وي.

  8. Dodge, J.; Sap, M.; Marasović, A.‎ او نور (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021)، مخونه 1286–1305

    موندنه د C4 روزنیزه متني ټولګه د Common Crawl له یوې واحدې اخیستل شوې نسخې جوړه شوې او د اختراع د ثبت اسنادو او پوځي پاڼو په څېر له نااټکل شوو سرچینو څخه متنونه لري.

    په وسیله کې په متن کې دا خبره ثابتوي چې روزنیزې متني ټولګې له ثابتو اخیستل شوو نسخو جوړېږي: کوم څه چې یو ځل هلته ځای پر ځای شي، وروسته بندیز پرې اغېز نه کوي.

  9. Aggarwal, P.; Murahari, V.; Rajpurohit, T.‎ او نور (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)، مخونه 5–16

    موندنه منځپانګه داسې چمتو کېدای شي چې د AI لټون ماشینونه یې تر 40 سلنې پورې په لا څرګند ډول د سرچینې په توګه یاده کړي؛ دا چې څه اغېز لري، په تخصصي ساحې پورې اړه لري.

    په وسیله کې دا توپیر روښانوي: لاسرسی لومړنی شرط دی، خو دا چې منځپانګه د سرچینې په توګه یادېږي که نه، خپله منځپانګه یې ټاکي. پاڼه د دې لپاره AI-SEO ته مراجعه ورکوي.

  10. Liu, N.; Zhang, T.; Liang, P.‎ (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023، مخونه 7001–7025

    موندنه په څلورو AI لټون ماشینونو کې په اوسط ډول یوازې له نیمایي لږ زیاتې جملې په بشپړه توګه په سرچینو ثابتې وې، او شاوخوا څلورمه برخه د سرچینو حوالو د اړوندې جملې ملاتړ نه کاوه.

    په وسیله کې دا محدودیت تاییدوي چې ازاد لاسرسی د سم نقل تضمین نه دی: چېک د لوستلو امکان ګوري، ځواب نه ارزوي.

  11. Xu, H.; Iqbal, U.; Montgomery, J.‎ M.‎ (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026)، مخونه 529–546

    موندنه په 55.393 لټونونو کې د AI لنډیز په 13,7 سلنه مواردو کې څرګند شو، او د پوښتنو په بڼه لټونونو کې په 64,7 سلنه مواردو کې. د حواله شوو ډومېنونو نږدې 30 سلنه د لومړۍ پاڼې په پایلو کې نه وو.

    په وسیله کې روښانوي چې Googlebot ولې په چېک کې شامل دی: د AI لنډیزونه له انډېکس څخه سرچینې ټاکي، خو یوازې له لومړنیو پایلو څخه نه.

  12. Grossman, R.; Liu, S.; Chen, M.‎ K.‎ او نور (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)، مخونه 448–459

    موندنه په 11.500 لټونونو کې د Google لټون، د AI لنډیز او Gemini سرچینو ډېر توپیر درلود. هغه وېب سایټونه چې د Google AI کرالرونه بندوي، د AI په لنډیزونو کې لږ د سرچینې په توګه کارول کېدل.

    په وسیله کې د Google-Extended د بندېدو پر مهال یادونه دا موندنه د Google له دې وینا سره یوځای وړاندې کوي چې دا تنظیم پر لټون اغېز نه کوي.

  13. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V.‎ (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56، مخونه 29–41

    موندنه د شاوخوا 4 میلیونه ډومېنونو اندازه کول ښيي: robots.txt لا هم تر ټولو مهمه وسیله ده؛ د AI ځانګړي فایلونه لکه ai.txt او llms.txt تر ډېره په ټکنالوژۍ شرکتونو کې کارول کېږي. د llms.txt فایلونو ځینې لینکونه هغو پاڼو ته ځي چې robots.txt یې بندوي.

    په وسیله کې له همدې امله کتل کېږي چې د llms.txt لینکونه بندو پاڼو ته ځي که نه.

  14. Chang, C.-Y.; He, X.‎ (2025): The liabilities of robots.txt. Computer Law & Security Review 58، مقاله 106176

    موندنه د تولیدي AI په راتګ سره د robots.txt له پامه غورځول ډېرې جدي پایلې لري. څېړنه د کامن لا د حقوقي نظام لرونکو هېوادونو لپاره استدلال کوي چې دا فایل په ځینو شرایطو کې د یو اړخیز تړون یا داسې خبرداري حیثیت لرلای شي چې د حقوقي مسؤلیت پایلې ولري.

    په وسیله کې د دې یادونې ملاتړ کوي چې robots.txt یوازې تخنیکي موضوع نه ده؛ خو په دې شرط چې په جرمني کې حقوقي حالت جلا وکتل شي.

  15. Ansar, M.; Sperotto, A.; Holz, R.‎ (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، مخونه 197–214

    موندنه د Common Crawl په یوه اخیستل شوې نسخه کې شاوخوا 1,68 سلنه وېب سایټونو کرالر په څرګنده رد کړی و؛ ډېری وخت د لویو کوربه خدمتونو او د وېب سایټ جوړولو د چمتو سیسټمونو د برابروونکو له خوا، له بندیزه تر تصدیقي پاڼې پورې.

    په وسیله کې له همدې امله، که کورپاڼه په تصدیقي پاڼې ځواب ورکړي، یادونه ښکاري: د بوټونو ضد ساتنه له robots.txt څخه په خپلواکه توګه لاسرسی بندوي.

معیارونه، ادارې او د جوړونکو معلومات

دوشنبه–جمعه، 8–17 بجې

کاپي شوې پایله موږ ته راولېږئ. موږ robots.txt، llms.txt او جوړښت لرونکې ډېټا داسې تنظیموو چې د AI لټونونه ستاسو پاڼې ولولای شي او روزنه یوازې هلته وشي چې تاسو یې غواړئ، په روډېویش (Rodewisch) او ټول فوګټلنډ (Vogtland) کې.

+49 3744 4399760[email protected]

دوشنبه–جمعه، 8–17 بجې · Straße der Jugend 5, 08228 Rodewisch

د AI لاسرسی درته تنظیم کړو
+49 3744 4399760دوشنبه–جمعه، 8–17 بجې
زنګ ووهئبېرته زنګ

د برخو لېست · پاڼه 1/1

دا پاڼه له څه جوړه ده

ارزښتونه د پاڼې د جوړولو پر وخت اندازه شوي؛ که JavaScript فعال وي، ستاسو براوزر یې همدا اوس بیا اندازه کوي.

شمېرهبرخهډولاندازه
01index.htmlسند≈ 29 kB
02styles.cssسټایل شیټ≈ 20 kB
03scripts.jsسکریپټ≈ 13 kB
04archivo-variable.woff2لیکبڼه≈ 58 kB
05ibm-plex-mono.woff2لیکبڼه≈ 30 kB
06favicon.svgګرافیک< 1 kB

د اعلان یا تحلیل کوکیز: هېڅ. ستاسو له اجازې پرته دا پاڼه زموږ د رسولو خدمت Cloudflare پرته له نورو سرورونو هېڅ نه راکاږي؛ لیکبڼې، سکریپټونه او ګرافیکونه زموږ په خپلو سرورونو دي. ستاسو آی ټي هم همداسې جوړوو.

له کاري ساعتونو بهر

بیا هم زنګ ووهئ

په عادي توګه موږ دوشنبه–جمعه، 8–17 بجې په دفتر کې یو.

ماښام او د اونۍ په پای کې هم شمېره موږ ته لېږدول کېږي، او ډېر ځله یو څوک ځواب ورکوي. ژمنه یې نه شو کولی.

که څوک ځواب درنه کړي، په غږیز پیغام کې لنډ ووایئ: نوم، شمېره او خبره د څه په اړه ده. ژر تر ژره بېرته زنګ درته وهو، تر بلې کاري ورځې پورې.

خبرې وړیا دي. که له کاري ساعتونو بهر سمدستي کار ته اړتیا وي، د بیو په لېست کې ښودل شوی اضافي فیس پلي کېږي.

همدا اوس زنګ ووهئ+49 3744 4399760

لیکل غوره ګڼئ؟ د اړیکې فورمې له لارې یا [email protected] ته. هغه په بله کاري ورځ لولو.

تشخیص · AT-K2

څه ستونزه ده؟

↵ ټاکلESC بندولزنګ: +49 3744 4399760

شخصي تنظیمات

کوم خدمتونه دې لوډ شي؟

له تخنیکي پلوه اړین

هغه پرېکړه چې تاسو دلته کوئ، او د رنګ بڼې او حرکت تنظیمات. دا معلومات د کوچنیو ثبتونو په توګه ستاسو په وسیله کې پاتې کېږي او هېڅکله سرور ته نه لېږل کېږي. د پاڼې د چلولو لپاره اړین دي، نو نه شي بندېدای.