وسیله AT-W29نسخه 2026-A
د AI کراولر چېک: ایا ChatGPT، Claude او Perplexity ستاسو وېب سایټ لوستلای شي؟
دا چې یو AI مرستیال ستاسو د وېب سایټ د لوستلو اجازه لري که نه، په robots.txt کې لیکل کېږي: د هر کراولر لپاره خپله ډله؛ که نه، عمومي قاعده «User-agent: *» پلي کېږي. موخه یې مهمه ده. GPTBot او ClaudeBot د روزنې لپاره راټولول کوي، OAI-SearchBot او Claude-SearchBot د AI لټون لپاره، او ChatGPT-User یوه پاڼه راوړي کله چې څوک په چټ کې پوښتنه وکړي. دا چېک ستاسو قواعد د 27 کراولرونو لپاره لولي، llms.txt ګوري او مناسب بلاک درته لیکي.
- وړیا
- له نوم لیکنې پرته
- 5 دقیقې په لنډمهالې حافظه کې
01 / راوړل
ډومېن ولیکئ او د هر کراولر لاسرسی وګورئ
راوړل · robots.txt، llms.txt او کورپاڼه
دا چېک قواعد په هماغه بڼه لولي چې نن پر سرور دي او د RFC 9309 له مخې یې ارزوي. دا چې کراولر یې مراعات کوي که نه، د هغه چلوونکی پرېکړه کوي.
له راوړلو پرته: د robots.txt متن دننه کړئ
د بېلګې په توګه، د داسې فایل لپاره چې لا آنلاین نه دی. متن په براوزر کې پاتې کېږي؛ پورته ورکړل شوی مسیر پلي کېږي.
02 / کراولرونه
کوم AI کراولرونه شته او د څه لپاره لوستل کوي
لوی خدمتوړاندې کوونکي د موخې له مخې څو کراولرونه لېږي. د تنظیم پر مهال همدا تر ټولو مهم ټکی دی: څوک چې «AI» بندوي، ډېری وخت د AI له لټون څخه هم وځي او هلته بیا د سرچینې په توګه نه یادېږي. له 2023 راهیسې وېب سایټونه د AI خدمتوړاندې کوونکي په زیاتېدونکي ډول، خو په بېلابېلو بڼو بندوي؛ څېړونکو د کارونې د شرایطو او robots.txt ترمنځ ډېر ځله تضادونه موندلي Longpre او نور 2024. له همدې امله، چېک هر کراولر جلا ښيي.
| ډول | توکي | څه کوي |
|---|---|---|
| د AI لټون | 11 | هغه انډېکس جوړوي چې AI مرستیال یا د لټون ماشین ترې له سرچینو سره ځوابونه اخلي. که بند شي، پاڼه هلته لږ یا هېڅ د سرچینې په توګه نه څرګندېږي. |
| روزنه | 6 | هغه منځپانګې راټولوي چې ژبني ماډلونه ترې زده کړه کوي. بندیز پر راتلونکو روزنیزو پړاوونو اغېز لري، پر لا دمخه روزل شوو ماډلونو نه. |
| د روزنې تنظیم | 2 | خپلواک کراولر نه دی. قاعده چلوونکي ته وايي چې هغه منځپانګه چې په هر صورت یې راوړې، د روزنې لپاره کارولای شي که نه. |
| د کاروونکي په غوښتنه راوړل | 7 | یوه ځانګړې پاڼه راوړي، ځکه چې یو انسان هماغه مهال د هغې په اړه پوښتنه کوي. څو چلوونکي لیکي چې robots.txt پر دې نه پلي کېږي یا تل نه پلي کېږي. |
دوه توکي لا زیاتې پاملرنې ته اړتیا لري. Common Crawl پخپله هېڅ ماډل نه روزي، خو د وېب تر ټولو لوی وړیا لاسرسي وړ ارشیف جوړوي، او دا د لویو ژبنیو ماډلونو د لومړنۍ روزنې له مهمو سرچینو څخه دی Baack 2024. د بېلګې په توګه، د روزنې مشهور متني ټولګه C4 له همداسې یوه نقل څخه جوړه شوې وه Dodge او نور 2021. له همدې امله، څوک چې روزنه نه مني، CCBot هم بندوي؛ خو هغه څه چې لا دمخه په یوه نقل کې دي، هېڅ قاعده یې بېرته نه شي ایستلای. دویم Googlebot دی: دا په لېست کې دی، ځکه چې د Google د لټون AI لنډیزونه او AI حالت د هغه پر انډېکس ولاړ دي. څوک چې غواړي په Google کې وموندل شي، هغه نه بندوي.
ټول 27 شامل کراولرونه
| په robots.txt کې نوم | چلوونکی | موخه | robots.txt اغېز لري | چلوونکی څه لیکي |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | د AI لټون | هو، د چلوونکي په وینا | په ChatGPT کې لټون ته معلومات برابروي. څوک چې یې بند کړي، هلته په ځوابونو کې د سرچینې په توګه نه څرګندېږي. |
| Claude-SearchBot | Anthropic | د AI لټون | هو، د چلوونکي په وینا | په Claude کې له لټون سره مرسته کوي. که بند شي، پاڼه هلته په پایلو کې لږ څرګندېږي. |
| Googlebot | د AI لټون | هو، د چلوونکي په وینا | د Google د لټون کراولر. د AI لنډیزونه او AI حالت هم له همدې انډېکس څخه کار اخلي؛ هلته د nosnippet، max-snippet او noindex له لارې کنټرولېږي. | |
| PerplexityBot | Perplexity | د AI لټون | هو، د چلوونکي په وینا | هغه انډېکس جوړوي چې Perplexity ترې سرچینو ته لینکونه ورکوي. د چلوونکي په وینا، د ماډلونو د روزنې لپاره نه دی. |
| Applebot | Apple | د AI لټون | هو، د چلوونکي په وینا | په Siri، Spotlight او Safari کې د لټون کراولر. د Apple په وینا، ډېټا د Apple د ماډلونو په روزنه کې هم کارېدلی شي؛ د دې لپاره Applebot-Extended شته. |
| meta-webindexer | Meta | د AI لټون | هو، د چلوونکي په وینا | په Meta AI کې د لټون لپاره انډېکس جوړوي، څو Meta منځپانګې د سرچینې په توګه یادې کړي او لینکونه ورته ورکړي. |
| Amzn-SearchBot | Amazon | د AI لټون | هو، د چلوونکي په وینا | د Alexa په څېر د Amazon محصولاتو د لټون دندو لپاره؛ د Amazon په وینا د روزنې لپاره نه دی. |
| bingbot | Microsoft | د AI لټون | هو، د چلوونکي په وینا | د Bing کراولر. Microsoft د AI لپاره جلا پېژند نه ښيي؛ د روزنې او AI ځوابونو لارښوونې له فبروري 2027 څخه Bingbot ته متوجه دي. |
| MistralAI-Index | Mistral | د AI لټون | هو، د چلوونکي په وینا | یوازې د لټون د انډېکس لپاره وېب پاڼې ګوري؛ د Mistral په وینا، د روزنې لپاره نه دی. |
| DuckAssistBot | DuckDuckGo | د AI لټون | هو، د چلوونکي په وینا | د DuckDuckGo د AI ځوابونو لپاره په هماغه وخت کې پاڼې راوړي او سرچینې یې یادوي. د چلوونکي په وینا، د روزنې لپاره نه دی. |
| YouBot | You.com | د AI لټون | هو، د چلوونکي په وینا | د You.com د لټون ماشین کراولر. د Crawl-delay په ګډون robots.txt مراعات کوي. |
| GPTBot | OpenAI | روزنه | هو، د چلوونکي په وینا | هغه منځپانګې راټولوي چې د OpenAI د ماډلونو په روزنه کې کارېدلی شي. د OpenAI په وینا، بندول یې دا مانا لري: د روزنې لپاره یې مه کاروئ. |
| ClaudeBot | Anthropic | روزنه | هو، د چلوونکي په وینا | هغه منځپانګې راټولوي چې د Anthropic د ماډلونو په روزنه کې کارېدلی شي. Anthropic د robots.txt او Crawl-delay دواړو مراعات کوي. |
| meta-externalagent | Meta | روزنه | هو، د چلوونکي په وینا | د AI ماډلونو د روزنې او د Meta د محصولاتو لپاره راټولول کوي. |
| Amazonbot | Amazon | روزنه | هو، د چلوونکي په وینا | د Amazon محصولات ښه کوي؛ په دې کې د Amazon د AI ماډلونو روزنه هم شاملېدای شي. Crawl-delay نه مراعات کوي. |
| MistralAI-Training | Mistral | روزنه | هو، د چلوونکي په وینا | د Mistral ماډلونو د روزنې ډېټا لپاره منځپانګې راټولوي. |
| CCBot | Common Crawl | روزنه | هو، د چلوونکي په وینا | د وېب یو وړیا لاسرسي وړ ارشیف جوړوي. Common Crawl پخپله هېڅ نه روزي، خو ارشیف یې د روزنې د ډېټا له مهمو سرچینو څخه دی. |
| Google-Extended | د روزنې تنظیم | هو، د چلوونکي په وینا | خپلواک کراولر نه دی، بلکې یو تنظیم دی: ایا د Google راوړې منځپانګې د راتلونکو Gemini ماډلونو په روزنه او د Gemini د ځوابونو په مستندولو کې کارېدلی شي؟ د Google په وینا، دا د Google پر لټون اغېز نه لري. | |
| Applebot-Extended | Apple | د روزنې تنظیم | هو، د چلوونکي په وینا | خپلواک کراولر نه دی. که بند شي، Apple منځپانګې د خپلو ماډلونو د روزنې لپاره نه کاروي؛ پاڼه په لټون کې پاتې کېږي. |
| ChatGPT-User | OpenAI | د کاروونکي په غوښتنه راوړل | تل نه | یوه پاڼه راوړي کله چې څوک په ChatGPT کې د هغې په اړه پوښتنه وکړي. د OpenAI په وینا، ښايي د robots.txt قواعد پرې پلي نه شي. |
| Claude-User | Anthropic | د کاروونکي په غوښتنه راوړل | هو، د چلوونکي په وینا | کله چې کاروونکي په Claude کې پوښتنه وکړي، پاڼې راوړي. Anthropic لیکي چې بوټونه یې robots.txt مراعات کوي. |
| Google-Agent | د کاروونکي په غوښتنه راوړل | تل نه | د یوه کاروونکي په استازیتوب وېب ګوري او کړنې ترسره کوي. د Google په وینا، د کاروونکو په غوښتنه راوړل عموماً له robots.txt تېرېږي. | |
| Perplexity-User | Perplexity | د کاروونکي په غوښتنه راوړل | تل نه | کله چې کاروونکی پوښتنه وکړي، پاڼې راوړي. د Perplexity په وینا، عموماً robots.txt له پامه غورځوي. |
| meta-externalfetcher | Meta | د کاروونکي په غوښتنه راوړل | تل نه | د کاروونکي په غوښتنه د ځانګړو لینکونو منځپانګې راوړي، د AI اېجنټونو لپاره هم. د Meta په وینا، له robots.txt تېرېدای شي. |
| Amzn-User | Amazon | د کاروونکي په غوښتنه راوړل | تل نه | د کاروونکي د یوې پوښتنې لپاره تازه ډېټا راوړي، لکه Alexa ته د پوښتنې لپاره. د Amazon په وینا، د robots.txt ټول قواعد نه مراعات کوي. |
| MistralAI-User | Mistral | د کاروونکي په غوښتنه راوړل | هو، د چلوونکي په وینا | کله چې کاروونکی پوښتنه وکړي، یوه پاڼه راوړي او د سرچینې په توګه لینک ورته ورکوي. د Mistral په وینا، د robots.txt ډله ټاکي چې کومې پاڼې د دې لپاره کارېدلی شي. |
| Bytespider | ByteDance | ناڅرګند | ثبوت نشته | د چلوونکي اسناد ونه موندل شول. موخه او له robots.txt سره چلند یې مستند نه دي. |
نه دي شامل شوي: د بوټونو له فهرستونو هغه نومونه چې چلوونکی یې پخپله نه یادوي، لکه anthropic-ai یا cohere-ai. Cohere د خپلو اسنادو له مخې اوس مهال هېڅ کراولر نه چلوي؛ Microsoft د AI لپاره جلا پېژند نه ښيي او د AI لارښوونې یې bingbot ته متوجه دي. تازه حالت: 14 نومبر 2026.
03 / جوړونکی
روزنه بنده کړئ، د AI لټون ته اجازه ورکړئ: مناسب بلاک
ډېری کاروبارونه همدا غواړي: د ChatGPT، Claude یا Perplexity په ځوابونو کې د سرچینې په توګه څرګند شي، خو له پوښتنې پرته د روزنې مواد ورنه کړي. د جوړونکي لومړني تنظیمات همداسې دي. دا هره ډله جلا او یوازې له Allow او Disallow سره، له ځایناستو نښو پرته لیکي، ځکه چې سوداګریز کراولرونه هم ځینې قواعد بیا بیا ناسم درک کوي Giles او نور 2010. دا بلاک خپلې موجودې robots.txt ته ورزیات کړئ؛ د «User-agent: *» ډله پر خپل حال پاتې کېږي.
جوړونکی · د robots.txt بلاک
جوړونکی په براوزر کې کار کوي او هېڅ نه لېږي.
جوړونکی · د llms.txt چوکاټ
په براوزر کې کار کوي. فایل د llms.txt په نوم د وېب سایټ په اصلي فولډر کې ځای پر ځای کېږي.
تر ټولو عامه تېروتنه: ډلې هېڅ قواعد په میراث نه اخلي
یو کراولر یوازې د خپل نوم ډله مراعات کوي. که دا ډله موجوده وي، عمومي قاعده بیا پر هغه نه پلي کېږي، حتی یوه برخه یې هم نه. د ښي لوري په بېلګه کې «User-agent: *» د /intern/ برخه بندوي، خو GPTBot خپله ډله له «Allow: /» سره لري.
د /intern/preise لپاره پایله: ClaudeBot بند دی (کرښه 2: Disallow: /intern/ (ډله *))، خو GPTBot د لوستلو اجازه لري (کرښه 5: Allow: / (ډله GPTBot)). نو هغه څه چې باید د ټولو لپاره بند وي، باید په هرې نومول شوې ډلې کې ولیکل شي. په جوړونکي کې دا برخې یو ځل ولیکئ، هغه یې هر ځای تکراروي.
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
د روزنې ګډ سیګنال
له 30 اکتوبر 2026 راهیسې په IETF کې یوه مسوده شته چې غواړي د جلا جلا بندولو کار لنډ کړي: د «User-agent: __usage_ai-training» یوه ډله له «Disallow: /» سره ټولو ګډونوالو خدمتوړاندې کوونکو ته په یو ځل وايي چې تاسو روزنه نه غواړئ. مسیرونه د معمول په څېر کار کوي؛ «Allow: /presse/» د مطبوعاتو فولډر مستثنا کوي. دا ډله د کراول کولو کمانډ نه دی او په څرګنده ویل شوي چې عمومي قاعده «User-agent: *» د دې لپاره نه حسابېږي. ځکه چې مسوده نوې ده او هر خدمتوړاندې کوونکی یې لا نه لولي، جوړونکی دواړه لیکي: جلا ډلې او سیګنال.
| چمتو کوونکی | له کله |
|---|---|
| Anthropic | له 30 اکتوبر 2026 راهیسې؛ د ClaudeBot په نوم ډله لومړیتوب لري |
| Microsoft (Bing) | له 1 فبروري 2027 څخه |
| د 2027 لپاره پلان شوی؛ که د Google-Extended جلا ډله نه وي، Google بیا «نه» د بند شوي Google-Extended په څېر ارزوي | |
| OpenAI | «په راتلونکو میاشتو کې»؛ د GPTBot قواعد پاتې کېږي |
سرچینه: draft-kelley-aipref-training-preference-signal-00، د معیار حیثیت نه لري، د 3 مې 2027 پر نېټه یې اعتبار پای ته رسېږي. تازه حالت: 14 نومبر 2026.
04 / قواعد
یو کراولر ستاسو robots.txt داسې لولي
له سپتمبر 2022 راهیسې دا کړنلاره په RFC 9309 کې ټاکل شوې او چېک هم پر همدې بنسټ محاسبه کوي. فایل تل په اصلي فولډر کې د /robots.txt په پته وي او یوازې پر هماغه ځانګړي کوربه پلي کېږي: که ihre-firma.de، www.ihre-firma.de ته واوړي، پر www موجود فایل حسابېږي. کراولر د خپل نوم ډله لټوي، د لویو او کوچنیو تورو توپیر مهم نه دی؛ که نه وي، «User-agent: *» اخلي، او که هغه هم نه وي، د هر څه اجازه لري. د ډلې دننه تر ټولو اوږده سمونلرونکې قاعده لومړیتوب لري؛ که اوږدوالی یو شان وي، Allow لومړیتوب لري. ستوری د هر ډول تورو او نښو استازیتوب کوي، او په پای کې د ډالر نښه د پتې پای ښيي.
لا په 2007 کې پر 7.593 وېب سایټونو یوې سروې وښودله چې دا فایل په زیاتېدونکي ډول کارول کېږي، او دا یې هم روښانه کړه چې ماهیت یې څه دی: یوه قاعده چې اصول مراعاتوونکي کراولرونه یې مني، د جبري پلي کولو وسیله نه ده Sun او نور 2007. دا خبره لا هم پر خپل ځای ده.
| ځواب | RFC 9309 | |
|---|---|---|
| 200، متني فایل | قواعد پلي کېږي، لږ تر لږه 500 KiB لوستل کېږي | همداسې؛ له 500 KiB وروسته هر څه له پامه غورځول کېږي |
| 200، خو یوه وېب پاڼه | هېڅ باوري کرښه نشته، نو هېڅ قاعده نشته | همداسې |
| 404 او نور 4xx | robots.txt نشته، د هر څه اجازه شته | له 429 پرته د هر څه اجازه شته |
| 429، ډېرې غوښتنې | د 4xx په څېر | د سرور د تېروتنې په څېر |
| 5xx یا لاسرسی ورته نشته | هر څه بند دي | 12 ساعته کراول نه کېږي، وروسته تر 30 ورځو پورې وروستۍ سالمه نسخه کارول کېږي |
| بلې پتې ته لېږد | لږ تر لږه پنځه لېږدونه تعقیبوي | لږ تر لږه پنځه؛ وروسته د 404 په څېر |
Google فایل عموماً تر 24 ساعتونو پورې ساتي، Amazon تر 30 ورځو پورې. له همدې امله بدلونونه سمدستي اغېز نه کوي. زموږ د راوړلو بهیر تر ډېره درې لېږدونه تعقیبوي. تازه حالت: 14 نومبر 2026.
پخپله پر پاڼو لارښوونې
له robots.txt پرته د هرې پاڼې لپاره هم لارښوونې شته، د پاڼې په سر کې د Meta-Tag په بڼه یا د سرور په ځواب کې د X-Robots-Tag په بڼه. چېک دا لارښوونې پر کورپاڼه لولي. د AI لپاره په ځانګړي ډول دا مهمې دي: noindex پاڼه د لټون له انډېکس او په دې توګه د AI له لنډیزونو هم وباسي؛ nosnippet په Google کې د متن لنډ اقتباس منع کوي، د AI په لنډیزونو او AI حالت کې هم. Amazon، noarchive د «روزنې لپاره یې مه کاروئ» په مانا لولي. Microsoft له 1 فبروري 2027 څخه د روزنې او مستندولو لپاره خپلې لارښوونې (ai-training، ai-grounding) معرفي کوي او له مارچ 2027 څخه noarchive او nocache نور د AI د لارښوونو په توګه نه لولي. د «noai» په څېر لارښوونې عامې دي، خو زموږ په لېست کې هېڅ چلوونکي مستندې کړې نه دي.
05 / حدود
robots.txt څه نه شي کولای
- دا یوه غوښتنه ده. له 130 نومول شوو بوټونو سره د 40 ورځو په ازموینو کې، بوټونو سخت قواعد لږ مراعات کړل او د AI د لټون کراولرونو ډېر ځله فایل له سره ونه غوښت Kim او نور 2025.
- دا یوازې د نومونو له لارې اغېز لري. په ځانګړي ډول چمتو شوو وېب سایټونو دا ثابته کړه چې کوم راوړونکی کوم AI سیسټم ته مواد برابروي؛ په دې کې څو داسې هم وو چې چلوونکي یې نه څرګندوي Seiden او نور 2026. څوک چې د بل نوم لاندې راځي، د خپلې قاعدې سره نه مخ کېږي.
- د کاروونکو په غوښتنه راوړل کله ناکله له قواعدو تېرېږي. OpenAI، Perplexity، Meta، Amazon او Google پخپله لیکي چې د کاروونکو په غوښتنه یې راوړل تل robots.txt نه مراعات کوي. Anthropic او Mistral دا فایل د دې ډول راوړلو د کنټرول لپاره هم یادوي.
- قطعي بندیزونه پر سرور لګېږي. هنرمندانو د robots.txt لپاره ډېری وخت اړینه پوهه یا خپل وېب سایټ ته لاسرسی نه درلود؛ پر Reverse-Proxy بندیزونو لا اغېزمن خوندیتوب ورکړ Liu او نور 2025. له بلې خوا، ځینې کوربهخدمتونه او د وېب سایټ جوړولو سیسټمونه د خاوند له خبرتیا پرته کراولرونه بندوي: د Common Crawl په یوه نقل کې شاوخوا 1,68 سلنه وېب سایټونو کراولر په څرګنده رد کړی و Ansar او نور 2025. که ستاسو کورپاڼه زموږ غوښتنې ته د تایید له پاڼې سره ځواب ورکړي، چېک دا خبر درکوي.
- زموږ راوړونکی AI کراولر نه دی. سرور د خپل پېژند په کارولو غوښتنه کوي. که یو فایروال کراولرونه د نوم له مخې بندوي، لکه په Cloudflare کې د یوه تنظیم له لارې، چېک دا نه شي لیدلای.
او له قانوني پلوه؟
د § 44b Abs. 3 UrhG له مخې، پر ازاد لاسرسي وړ اثارو د متن او ډېټا کانکېندنه اجازه لري، تر هغه چې د حق خاوند دا حق ځان ته خوندي نه کړي؛ د انټرنېټ د منځپانګو لپاره یوازې په ماشینلوستونکې بڼه د حق خوندي کول اعتبار لري. robots.txt ماشینلوستونکې ده، خو دا چې د حق خوندي کولو لپاره بسنه کوي که نه، لا په قطعي ډول نه ده روښانه شوې. یوه حقوقي څېړنه د Common Law هېوادونو لپاره استدلال کوي چې له فایل څخه تېرېدل په ځینو شرایطو کې د قانوني مسؤلیت لامل کېدای شي Chang او He 2025؛ د جرمني لپاره دا باید جلا وکتل شي. نو څوک چې غواړي خپل حق خوندي اعلان کړي، دا دې په قانوني معلوماتو (Impressum) یا د کارونې په شرایطو کې هم ولیکي. دا حقوقي مشوره نه ده.
06 / LLMS.TXT
llms.txt: فایل څه کولای شي او څه نه شي کولای
Jeremy Howard د llms.txt وړاندیز د 3 سپتمبر 2024 پر نېټه وکړ؛ تشریح یې پر llmstxt.org شته. دا د /llms.txt په پته د Markdown یو فایل دی: له نوم سره یو سرلیک، چې یوازینۍ لازمي برخه ده، ورپسې د اقتباس په بڼه لنډه پېژندنه، او که وغواړئ څو جملې او مهمو پاڼو ته د لینکونو لېست لرونکې برخې. د «Optional» برخه هغه څه ساتي چې مرستیال یې پرېښودلای شي.
د شاوخوا 4 میلیونو ډومېنونو په یوه اندازه کې دا فایل تر ډېره په تخنیکي شرکتونو کې وموندل شو، او ځینې لینکونه یې هغو پاڼو ته تلل چې د هماغه سایټ robots.txt بندې کړې وې Hoffmann او نور 2026. چېک همدا ګوري. بندو پاڼو ته لارښوونه بېپایلې ده.
رښتیا دا ده: Google د AI لنډیزونو په خپلو اسنادو کې لیکي چې د دې لپاره د نوو ماشینلوستونکو فایلونو جوړول اړین نه دي، او دلته له شاملو چلوونکو څخه هېڅ یو د خپل کراولر په اسنادو کې نه لیکي چې د نورو وېب سایټونو llms.txt لولي. نو دا د لیدل کېدو د زیاتولو وسیله نه ده. خو بیا هم ګټوره ده: د ځان یوه لنډه او روښانه پېژندنه چې مرستیال یې د کاروونکي په غوښتنه لوستلای شي، او په لسو دقیقو کې چمتو کېږي.
زموږ خپله فایل پر aureum-tech.com/llms.txt شته. ستاسو د فایل چوکاټ پورته جوړونکی جوړوي.
07 / لیدل کېدل
د لوستلو اجازه دا مانا نه لري چې نوم به مو هم یاد شي
چېک یوې لومړنۍ پوښتنې ته ځواب ورکوي. دا چې ChatGPT ستاسو شرکت یادوي که نه، کله چې څوک په پلاوېن (Plauen) کې د برېښناکار پوښتنه وکړي، ستاسو د پاڼو په منځپانګه او پر هغه څه پورې تړاو لري چې نور یې ستاسو په اړه لیکي. په ازموینو کې د منځپانګې په برابرولو سره د AI په ځوابونو کې د سرچینو لیدل کېدل تر 40 سلنې پورې زیات شوي؛ د هرې تخصصي برخې لپاره بېلابېل میتودونه کارېدلي Aggarwal او نور 2024. په Google کې د 55.393 لټون غوښتنو په یوه اندازه کې، په 13,7 سلنه مواردو او د پوښتنو په 64,7 سلنه مواردو کې د AI لنډیز څرګند شو، او هلته د یادو شوو ډومېنونو نږدې 30 سلنه د لومړۍ پاڼې په پایلو کې نه وو Xu او نور 2026.
یادېدل دا مانا هم نه لري چې په سمه توګه مو حواله ورکړل شوې ده. د AI په څلورو لټون ماشینونو کې، په منځنۍ توګه یوازې له نیمایي لږ زیاتې جملې د ورکړل شوو سرچینو له خوا تاییدېدې Liu او نور 2023. او څوک چې د Google د AI کراولر بندوي، د AI په لنډیزونو کې لږ د سرچینې په توګه کارول کېږي، که څه هم Google لیکي چې دا تنظیم پر لټون اغېز نه لري Grossman او نور 2026.
ستاسو شرکت په ChatGPT، Perplexity او د Google په AI کې په رښتیا څومره لیدل کېږي، دا د SpotLens چټک چېک ښيي. دا چې موږ منځپانګه او جوړښتي ډېټا څنګه برابروو څو د AI لټونونه یې د سرچینې په توګه یاد کړي، د AI-SEO په برخه کې لیکل شوي. څوک چې غواړي لومړی پخپله وګوري، په لارښود کې موندلای شي چې څنګه په ChatGPT کې لیدل کېدل وګوري او د کاروبارونو لپاره په AI کې لیدل کېدل څه مانا لري. جلا قواعد په د robots.txt ازموینه کې وازمویئ؛ د موندل کېدو نور اوزار د SEO او لیدل کېدل په برخه کې شته.
08 / څېړنه
څېړنه په دې اړه څه وايي
د چېک ارزونه پر 15 علمي ارزول شوو څېړنو ولاړه ده. مهمې موندنې دلته دي؛ بشپړ لېست له ارزونې یادښت سره لاندې دی.
- بندیزونه زیاتېږي، خو یو شان نه دي. د یوه کال په موده کې د AI د روزنې د ډېټا د سرچینو لویې برخې بندې شوې، د خدمتوړاندې کوونکي له مخې په بېلابېلو بڼو Longpre او نور 2024. له همدې امله چېک کراولرونه جلا ښيي.
- قواعد په انتخابي ډول مراعات کېږي. څومره چې قاعده سخته وه، بوټونو هومره لږ مراعاتوله Kim او نور 2025. له همدې امله چېک هغه څه نه اندازه کوي چې اندازه کولای یې نه شي، او دا په څرګنده وايي.
- روزنه له ارشیفونو کار اخلي. Common Crawl د لومړنۍ روزنې له مهمو سرچینو څخه دی Baack 2024، او د C4 په څېر متني ټولګې له جلا نقلونو جوړېږي Dodge او نور 2021. له همدې امله چېک خبرداری ورکوي که CCBot خلاص پاتې شي.
- د AI لنډیزونه خپلې سرچینې ټاکي. ډېر یاد شوي ډومېنونه په لومړۍ پاڼه کې نه وي Xu او نور 2026، او د AI کراولرونو بندول له لږو یادونو سره تړاو لري Grossman او نور 2026.
- llms.txt نوې ده او ډېری وخت تضادونه لري. په فایل کې ځینې لینکونه بندو پاڼو ته ځي Hoffmann او نور 2026؛ چېک د هماغه وېب سایټ هر لینک ګوري.
09 / د AI مرستیالانو لپاره
دا وسیله له AI مرستیال څخه وکاروئ
هغه مرستیالان لکه Claude یا ChatGPT چې Model Context Protocol (MCP) کاروي، کولی شي د دې پاڼې محاسبه مستقیم وکاروي، پرته له دې چې بیا یې جوړه کړي. سرور عامه دی، نوم لیکنې ته اړتیا نه لري او هېڅ نه ساتي. ځواب تل د دې پاڼې لینک، د معلوماتو نېټه او د پایلې حدود لري.
- اېنډپواینټ
https://aureum-tech.com/mcp- وسیله
werkzeug_ki_crawler_check- ټرانسپورټ
- Streamable HTTP، یوازې لوستل
| نوم | اړین | مانا |
|---|---|---|
domain | نه | د وېب سایټ ډومېن، لکه ihre-firma.de یا https://www.ihre-firma.de. مسیر له پامه غورځول کېږي؛ robots.txt تل په اصلي فولډر کې وي. یوازې عامه وېب سایټونه، پورټ 80 یا 443. |
robots_txt | نه | د ډومېن پر ځای: د robots.txt متن، چې له راوړلو پرته ارزول کېږي. له domain سره یې یو ځای مه ورکوئ. |
pfad | نه | هغه مسیر چې کتل کېږي، لکه /blog/artikel. که څه ونه لیکئ، کورپاڼه «/» کتل کېږي. |
هغه پوښتنې چې مرستیال باید دا وسیله ورته وکاروي
- «ایا ChatGPT زما وېب سایټ handwerk-muster.de لوستلای شي؟»
- «ایا زموږ robots.txt په تېروتنه د Perplexity او ChatGPT د AI لټون بندوي؟»
- «څنګه د AI روزنه منع کړم، خو د ChatGPT او Claude په لټون کې لیدل کېدونکی پاتې شم؟»
- «ایا www.beispiel-praxis.de د llms.txt فایل لري، او لینکونه یې بندو پاڼو ته ځي؟»
نښلون څنګه کار کوي او MCP ستاسو په خپل کاروبار کې څه کولی شي، د MCP نښلونو په پاڼه کې لیکل شوي.
10 / عامې پوښتنې
د AI کراولرونو، robots.txt او llms.txt په اړه عامې پوښتنې
څنګه د AI روزنه بنده کړم، خو د ChatGPT په لټون کې پاتې شم؟
OpenAI دا دواړه جلا ساتي: GPTBot د روزنې لپاره راټولول کوي، OAI-SearchBot په ChatGPT کې د لټون لپاره، او هر تنظیم جلا اغېز لري. نو په robots.txt کې GPTBot ته «Disallow: /» او OAI-SearchBot ته «Allow: /» ورکول کېږي. په Anthropic کې همدا کار د ClaudeBot او Claude-SearchBot لپاره کېږي؛ په Google کې Google-Extended بندوئ او Googlebot پر خپل حال پرېږدئ. د دې پاڼې جوړونکی د ټولو شاملو خدمتوړاندې کوونکو لپاره بشپړ بلاک لیکي.
د GPTBot، OAI-SearchBot او ChatGPT-User ترمنځ توپیر څه دی؟
GPTBot هغه منځپانګې راټولوي چې د راتلونکو ماډلونو په روزنه کې کارېدلی شي. OAI-SearchBot هغه انډېکس جوړوي چې ChatGPT یې د لټون پر مهال سرچینې یادوي؛ د OpenAI په وینا، څوک چې یې بند کړي، هلته په ځوابونو کې نه څرګندېږي. ChatGPT-User یوه ځانګړې پاڼه راوړي، ځکه چې یو څوک هماغه مهال په چټ کې د هغې په اړه پوښتنه کوي. د OpenAI په وینا، ښايي د robots.txt قواعد پر دې راوړلو پلي نه شي.
که Google-Extended بند کړم، زما وېب سایټ له Google څخه وځي؟
نه. Google-Extended خپلواک کراولر نه دی، بلکې داسې تنظیم دی چې ټاکي Google راوړل شوې منځپانګه د Gemini د روزنې او د Gemini د ځوابونو د مستندولو لپاره کارولای شي که نه. د Google په وینا، دا نه په لټون کې پر شاملېدو اغېز لري او نه پر درجهبندۍ. د Google د لټون AI لنډیزونه په Googlebot او د nosnippet په څېر د متن د لنډو اقتباسونو په قواعدو پورې تړلي دي. خو د 2026 یوې اندازې وښودله چې هغه پاڼې چې د Google د AI کراولر یې بند کړی و، د AI په لنډیزونو کې لږ ځله د سرچینې په توګه کارېدلې.
ایا llms.txt ته اړتیا لرم؟
دا لازمي نه ده. llms.txt د Jeremy Howard د سپتمبر 2024 وړاندیز دی: د Markdown یو فایل چې سرلیک، لنډه پېژندنه او مهمو پاڼو ته لینکونه لري. Google په څرګنده لیکي چې د AI لنډیزونو لپاره نوو ماشینلوستونکو فایلونو ته اړتیا نشته، او دلته له شاملو چلوونکو څخه هېڅ یو د خپل کراولر په اسنادو کې نه لیکي چې دا فایل لولي. زیان نه لري او ژر جوړېږي؛ جوړونکی یې چوکاټ درکوي. مهمه دا ده چې لینکونه یې بندو پاڼو ته ونه رسېږي.
ایا هر کراولر د robots.txt مراعات کوي؟
نه. robots.txt یوه غوښتنه ده، قلف نه دی. اندازې ښيي چې بوټونه سخت قواعد لږ مراعات کوي او د AI د لټون کراولرونه ډېری وخت دا فایل هېڅ نه غواړي. د ChatGPT-User، Perplexity-User یا meta-externalfetcher په څېر د کاروونکو په غوښتنه راوړل، د هغوی د چلوونکو په وینا، کله ناکله له robots.txt تېرېږي، او څوک چې بېنومه راټولول کوي، د هېڅ قاعدې په نوم نه راځي. څوک چې رښتیا لاسرسی بندول غواړي، باید پر سرور یا د کوربهخدمت چمتو کوونکي په کچه یې بند کړي.
ایا بندیز پر هغو ماډلونو هم پلي کېږي چې لا دمخه روزل شوي دي؟
نه. OpenAI او Anthropic بندیز د راتلونکې روزنې لپاره لارښوونه بولي. د روزنې ډېټا د وېب له ثابتو نقلونو جوړېږي، لکه د Common Crawl له ارشیف څخه؛ هغه څه چې هلته لا دمخه شته، همالته پاتې کېږي. له همدې امله، که روزنه نه منئ، ښه ده چې CCBot هم په پام کې ونیسئ.
«User-agent: __usage_ai-training» څه مانا لري؟
دا د 30 اکتوبر 2026 د IETF د یوې مسودې له مخې د روزنې ګډ سیګنال دی. په دې نوم یوه ډله چې «Disallow: /» ولري، ټولو ګډونوالو خدمتوړاندې کوونکو ته په یو ځل وايي چې تاسو روزنه نه غواړئ. Anthropic د خپلې وینا له مخې دا لا دمخه په پام کې نیسي، Microsoft یې له 1 فبروري 2027 څخه په پام کې نیسي، Google یې د 2027 لپاره او OpenAI یې د راتلونکو میاشتو لپاره پلان لري. دا د کراول کولو کمانډ نه دی او په څرګنده ویل شوي چې د «User-agent: *» ډله د دې لپاره نه حسابېږي.
د AI کراولر چېک تر کومه کار کوي؟
دا ستاسو د robots.txt قواعد، llms.txt او د کورپاڼې Robots لارښوونې لولي او د هر کراولر لپاره وايي چې څه اجازه لري. دا نه اندازه کوي چې کراولر یې مراعات کوي که نه، او نه دا چې AI مرستیال ستاسو شرکت پېژني او سپارښتنه یې کوي که نه. دا د SpotLens چټک چېک ښيي؛ دا چې منځپانګې باید څنګه جوړې شي څو د AI لټونونه یې د سرچینې په توګه یادې کړي، د AI-SEO په برخه کې لیکل شوي. که وغواړئ، موږ دا فایلونه درته تنظیموو.
11 / څېړنې او سرچینې
دا وسیله پر څه ولاړه ده
پورته اټکلي ارزښتونه او لارښوونې پر دې 15 علمي څېړنو ولاړې دي. هره یوه د خپل DOI یا د خپرونکي د پاڼې له لارې کتل شوې (وروستی ځل په 14 نومبر 2026): شته، بېرته اخیستل شوې نه ده، او پایله یې نن هم د دې پوښتنې لپاره اعتبار لري.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007)، مخونه 1123–1124
موندنه پر 7.593 وېب سایټونو پنځه سروې ښيي چې robots.txt په زیاتېدونکي ډول کارول کېږي. فایل د جبري پلي کولو وسیله نه ده، بلکې یوه قاعده ده چې اصول مراعاتوونکي کراولرونه یې مني.
په وسیله کې د پاڼې بنسټیز اصل تاییدوي: robots.txt کراولرونو ته یوه غوښتنه ده، قلف نه دی.
doi.org/10.1145/1242572.1242726 · د کنفرانس مقاله
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010)، مخونه 1101–1102
موندنه ډېری سوداګریز کراولرونه له قواعدو سره سم چلند کاوه، خو ډېرو یې بیا بیا د robots.txt ځینې قواعد ماتول یا ناسم درک کول.
په وسیله کې له همدې امله جوړونکی هره ډله جلا او یوازې له Allow او Disallow سره، له ځایناستو نښو پرته لیکي.
doi.org/10.1145/1772690.1772824 · د کنفرانس مقاله
Kim, T.; Bock, K.; Luo, C. او نور (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، مخونه 541–557
موندنه د 40 ورځو په کنټرول شوو ازموینو کې، چې 130 نومول شوي بوټونه پکې شامل وو، بوټونو سخت قواعد لږ مراعاتول؛ د AI لټون کرالرونو ډېری وخت robots.txt هېڅ نه غوښتله.
په وسیله کې د «قواعد لوستل، د چلند نه اندازه کول» محدودیت او د بندو کارن غوښتنو په اړه یادونه توجیه کوي.
doi.org/10.1145/3730567.3764471 · د کنفرانس مقاله
Liu, E.; Luo, E.; Shan, S. او نور (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، مخونه 78–99
موندنه اندازه کول او له 203 هنرمندانو څخه پوښتنه ښيي چې robots.txt ته ډېره اړتیا شته، خو د پوهې او خپل وېب سایټ ته د لاسرسي خنډونه شته. په رېورس پراکسي کې بندیزونو اغېزمنه ساتنه کوله، خو لږ کارول کېږي.
په وسیله کې له همدې امله د کلک بندیز لپاره د کوربه خدمت یا پراکسي د کارولو سپارښتنه کېږي، او جوړونکی د تخنیکي اصطلاحاتو مخکینۍ پوهه نه غواړي.
doi.org/10.1145/3730567.3732913 · د کنفرانس مقاله
Seiden, S.; Ren, T.; Zhang, C. او نور (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026)، مخونه 6998–7012
موندنه په ځانګړي ډول چمتو شوو وېب سایټونو او 22 AI سیسټمونو سره معلومه شوه چې کوم رااخیستونکی کوم ماډل ته منځپانګه برابروي؛ په دې کې څو داسې هم وو چې چلوونکي یې نه افشا کوي.
په وسیله کې دا محدودیت تاییدوي چې جدول یوازې هغه کرالرونه پېژني چې چلوونکي یې په خپل نوم مستند کړي دي.
doi.org/10.1145/3830454.3846799 · د کنفرانس مقاله
Longpre, S.; Mahari, R.; Lee, A. او نور (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، مخونه 108042–108087
موندنه د AI د روزنې ډېټا د 14.000 سرچینه ډومېنونو پلټنې په یوه کال کې د بندیزونو ډېر زیاتوالی، د AI برابروونکو ترمنځ لوی توپیرونه او د کارولو د شرایطو او robots.txt ترمنځ پرلهپسې تضادونه وموندل.
په وسیله کې له همدې امله چېک هر کرالر جلا ښيي، د دې پر ځای چې یوازې «AI ته اجازه شته» یا «AI بند دی» ووایي.
doi.org/10.52202/079017-3431 · د کنفرانس مقاله
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024)، مخونه 2199–2208
موندنه Common Crawl د وېب ډېټا تر ټولو لویه په ازاده توګه د لاسرسي وړ ټولګه او د لویو ژبنیو ماډلونو د لومړنۍ روزنې له مهمو سرچینو څخه ده؛ ډېر وخت د روزنیزو موادو لویه برخه جوړوي.
په وسیله کې له همدې امله CCBot د روزنې تر کټګورۍ لاندې دی، او چېک خبرداری ورکوي که ځینې روزنیز کرالرونه بند وي، خو CCBot بند نه وي.
doi.org/10.1145/3630106.3659033 · د کنفرانس مقاله
Dodge, J.; Sap, M.; Marasović, A. او نور (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021)، مخونه 1286–1305
موندنه د C4 روزنیزه متني ټولګه د Common Crawl له یوې واحدې اخیستل شوې نسخې جوړه شوې او د اختراع د ثبت اسنادو او پوځي پاڼو په څېر له نااټکل شوو سرچینو څخه متنونه لري.
په وسیله کې په متن کې دا خبره ثابتوي چې روزنیزې متني ټولګې له ثابتو اخیستل شوو نسخو جوړېږي: کوم څه چې یو ځل هلته ځای پر ځای شي، وروسته بندیز پرې اغېز نه کوي.
doi.org/10.18653/v1/2021.emnlp-main.98 · د کنفرانس مقاله
Aggarwal, P.; Murahari, V.; Rajpurohit, T. او نور (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)، مخونه 5–16
موندنه منځپانګه داسې چمتو کېدای شي چې د AI لټون ماشینونه یې تر 40 سلنې پورې په لا څرګند ډول د سرچینې په توګه یاده کړي؛ دا چې څه اغېز لري، په تخصصي ساحې پورې اړه لري.
په وسیله کې دا توپیر روښانوي: لاسرسی لومړنی شرط دی، خو دا چې منځپانګه د سرچینې په توګه یادېږي که نه، خپله منځپانګه یې ټاکي. پاڼه د دې لپاره AI-SEO ته مراجعه ورکوي.
doi.org/10.1145/3637528.3671900 · د کنفرانس مقاله
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023، مخونه 7001–7025
موندنه په څلورو AI لټون ماشینونو کې په اوسط ډول یوازې له نیمایي لږ زیاتې جملې په بشپړه توګه په سرچینو ثابتې وې، او شاوخوا څلورمه برخه د سرچینو حوالو د اړوندې جملې ملاتړ نه کاوه.
په وسیله کې دا محدودیت تاییدوي چې ازاد لاسرسی د سم نقل تضمین نه دی: چېک د لوستلو امکان ګوري، ځواب نه ارزوي.
doi.org/10.18653/v1/2023.findings-emnlp.467 · د کنفرانس مقاله
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026)، مخونه 529–546
موندنه په 55.393 لټونونو کې د AI لنډیز په 13,7 سلنه مواردو کې څرګند شو، او د پوښتنو په بڼه لټونونو کې په 64,7 سلنه مواردو کې. د حواله شوو ډومېنونو نږدې 30 سلنه د لومړۍ پاڼې په پایلو کې نه وو.
په وسیله کې روښانوي چې Googlebot ولې په چېک کې شامل دی: د AI لنډیزونه له انډېکس څخه سرچینې ټاکي، خو یوازې له لومړنیو پایلو څخه نه.
doi.org/10.1145/3777912.3839818 · د کنفرانس مقاله
Grossman, R.; Liu, S.; Chen, M. K. او نور (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)، مخونه 448–459
موندنه په 11.500 لټونونو کې د Google لټون، د AI لنډیز او Gemini سرچینو ډېر توپیر درلود. هغه وېب سایټونه چې د Google AI کرالرونه بندوي، د AI په لنډیزونو کې لږ د سرچینې په توګه کارول کېدل.
په وسیله کې د Google-Extended د بندېدو پر مهال یادونه دا موندنه د Google له دې وینا سره یوځای وړاندې کوي چې دا تنظیم پر لټون اغېز نه کوي.
doi.org/10.1145/3805712.3809667 · د کنفرانس مقاله
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56، مخونه 29–41
موندنه د شاوخوا 4 میلیونه ډومېنونو اندازه کول ښيي: robots.txt لا هم تر ټولو مهمه وسیله ده؛ د AI ځانګړي فایلونه لکه ai.txt او llms.txt تر ډېره په ټکنالوژۍ شرکتونو کې کارول کېږي. د llms.txt فایلونو ځینې لینکونه هغو پاڼو ته ځي چې robots.txt یې بندوي.
په وسیله کې له همدې امله کتل کېږي چې د llms.txt لینکونه بندو پاڼو ته ځي که نه.
doi.org/10.1145/3831956.3831960 · علمي مجله
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58، مقاله 106176
موندنه د تولیدي AI په راتګ سره د robots.txt له پامه غورځول ډېرې جدي پایلې لري. څېړنه د کامن لا د حقوقي نظام لرونکو هېوادونو لپاره استدلال کوي چې دا فایل په ځینو شرایطو کې د یو اړخیز تړون یا داسې خبرداري حیثیت لرلای شي چې د حقوقي مسؤلیت پایلې ولري.
په وسیله کې د دې یادونې ملاتړ کوي چې robots.txt یوازې تخنیکي موضوع نه ده؛ خو په دې شرط چې په جرمني کې حقوقي حالت جلا وکتل شي.
doi.org/10.1016/j.clsr.2025.106176 · علمي مجله
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، مخونه 197–214
موندنه د Common Crawl په یوه اخیستل شوې نسخه کې شاوخوا 1,68 سلنه وېب سایټونو کرالر په څرګنده رد کړی و؛ ډېری وخت د لویو کوربه خدمتونو او د وېب سایټ جوړولو د چمتو سیسټمونو د برابروونکو له خوا، له بندیزه تر تصدیقي پاڼې پورې.
په وسیله کې له همدې امله، که کورپاڼه په تصدیقي پاڼې ځواب ورکړي، یادونه ښکاري: د بوټونو ضد ساتنه له robots.txt څخه په خپلواکه توګه لاسرسی بندوي.
doi.org/10.1007/978-3-031-85960-1_9 · د کنفرانس مقاله
معیارونه، ادارې او د جوړونکو معلومات
- RFC 9309: Robots Exclusion Protocol · IETF، سپتمبر 2022
- How Google interprets the robots.txt specification (د حالت کوډونه، 500 KiB، لنډمهاله زېرمه) · Google Search Central
- Overview of OpenAI Crawlers · OpenAI
- Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
- Google common crawlers (Google-Extended) · Google Search Central
- Google user-triggered fetchers (Google-Agent) · Google Search Central
- AI features and your website · Google Search Central
- Perplexity Crawlers · Perplexity
- About Applebot · Apple، تازه شوی: 4 سپتمبر 2026
- Meta Web Crawlers · Meta
- Amazonbot, Amzn-SearchBot, Amzn-User · Amazon، تازه شوی: 26 اکتوبر 2026
- Your content, your choice: clearer preferences for training and grounding · Microsoft Bing، 30 اکتوبر 2026
- Mistral AI crawlers · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- Cohere web crawlers (اوس مهال کرالر نه لري) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · د IETF مسوده، 30 اکتوبر 2026
- A new way to control AI training (د روزنې نښه) · Google Search Central Blog، 30 اکتوبر 2026
- Making it easier for websites to express AI training preferences · OpenAI، 30 اکتوبر 2026
- The /llms.txt file · llmstxt.org، د 3 سپتمبر 2024 وړاندیز
- § 44b UrhG د متن او ډېټا سپړنه · gesetze-im-internet.de
12 / نور اوزار
نوره پوښتنه لرئ؟
- AT-W2 · شخصي او کاروبارونه
د Windows 10 چېک
ایا دا کمپیوټر لا هم امنیتي اپډېټونه ترلاسه کوي، او تر اکتوبر 2027 پورې څه باید وشي؟ - AT-W3 · شخصي او کاروبارونه
د وای فای پلانر
ستاسو کور، دفتر یا هال څو اکسس پواینټونو یا Mesh ټکو ته اړتیا لري؟ - AT-W4 · کاروبارونه
د آی ټي بېړني حالت چېک
ستاسو کاروبار به له یوې خرابۍ وروسته څومره ژر بېرته کار ته چمتو شي؟ - AT-W5 · کاروبارونه
د ایمېل چېک
ستاسو ایمېلونه Spam ته ځي؟ ستاسو د ډومېن SPF، DKIM او DMARC په ساده ژبه. - AT-W6 · کاروبارونه
د UPS (USV) محاسبه ګر
کوم UPS (USV) د برېښنا د تګ پر وخت سرور، روټر او د پیسو ماشین (Kasse) په کافي اندازه چالان ساتي؟ - AT-W8 · کاروبارونه
XRechnung ویوور
د XML فایل په بڼه مو XRechnung ترلاسه کړې؟ دلته د لوستلو وړ کېږي، پرته له دې چې فایل ستاسو کمپیوټر پرېږدي.
کاپي شوې پایله موږ ته راولېږئ. موږ robots.txt، llms.txt او جوړښت لرونکې ډېټا داسې تنظیموو چې د AI لټونونه ستاسو پاڼې ولولای شي او روزنه یوازې هلته وشي چې تاسو یې غواړئ، په روډېویش (Rodewisch) او ټول فوګټلنډ (Vogtland) کې.
+49 3744 4399760[email protected]دوشنبه–جمعه، 8–17 بجې · Straße der Jugend 5, 08228 Rodewisch