ئامرازی AT-W29REV.‎ 2026-A

پشکنینی کراولەری AI: ChatGPT، Claude و Perplexity بۆیان هەیە ماڵپەڕەکەتان بخوێننەوە؟

ئایا یاریدەدەرێکی AI بۆی هەیە ماڵپەڕەکەتان بخوێنێتەوە، لە robots.txt دا نووسراوە: بۆ هەر کراولەرێک گرووپێکی تایبەت، ئەگەر نا ڕێسا گشتییەکەی «User-agent: *» کار دەکات. ئامانجەکە بڕیار دەدات. GPTBot و ClaudeBot بۆ ڕاهێنان کۆ دەکەنەوە، OAI-SearchBot و Claude-SearchBot بۆ گەڕانی AI، و ChatGPT-User پەڕەیەک دەهێنێت کاتێک کەسێک لە چاتدا پرسیار دەکات. پشکنینەکە ڕێساکانتان بۆ 27 کراولەر دەخوێنێتەوە، llms.txt دەپشکنێت و بلۆکی گونجاوتان بۆ دەنووسێت.

  • بەخۆڕایی
  • بێ تۆمارکردن
  • 5 خولەک لە بیرگەی کاتیدا

دۆمەین بنووسن، دەستگەیشتنی هەر کراولەرێک ببینن

هێنان · robots.txt، llms.txt و پەڕەی سەرەکی

پشکنینەکە ڕێساکان بەو شێوەیە دەخوێنێتەوە کە ئەمڕۆ لەسەر سێرڤەرەکەن و بەپێی RFC 9309 هەڵیان دەسەنگێنێت. ئایا کراولەرێک پابەندیان دەبێت، خاوەنەکەی بڕیار دەدات.

بۆ نموونە ihre-firma.de.‎ ئەگەر پەڕەی سەرەکی بۆ www.‎ دەگوازرێتەوە، پشکنینەکە لەوێ دەپشکنێت.

بەبێ نووسین، پەڕەی سەرەکی. بە /blog یان /leistungen دەبینن ئایا ئەو بەشە بە تایبەتی کراوەیە.

دۆمەینەکە بۆ سێرڤەرەکەمان دەنێردرێت بۆ وەرگرتنی زانیاری. سێرڤەرەکە robots.txt و llms.txt و سەرەتای پەڕەی سەرەکی وەردەگرێت. دۆمەین و ئەنجامەکە لە لۆگدا تۆمار ناکرێن. بۆ پشکنینەکانی دواتر هەردووکیان تا پێنج خولەک لە بیرگەی کارکردندا دەمێننەوە.

بەبێ هێنان: دەقی robots.txt دابنێن

بۆ نموونە بۆ فایلێک کە هێشتا لەسەر ئینتەرنێت نییە. دەقەکە لە براوزەردا دەمێنێتەوە؛ ڕێڕەوەکەی سەرەوە کار دەکات.

ئەنجام

لە سەرەوە دۆمەینێک بنووسن. هێنانەکە چەند چرکەیەک دەخایەنێت.

چ کراولەرێکی AI هەن و بۆ چی دەخوێننەوە

کۆمپانیا گەورەکان یەک کراولەر نانێرن، بەڵکو چەندان، بەپێی ئامانج. ئەمە گرنگترین خاڵە لە کاتی ڕێکخستندا: ئەوەی «AI» بە گشتی دادەخات، زۆرجار لە گەڕانی AI یش دەردەچێت و لەوێ چیتر وەک سەرچاوە ناوی نایەت. لە 2023 ەوە ماڵپەڕەکان زیاتر و زیاتر ڕێگە لە کۆمپانیاکانی AI دەگرن، و بە شێوەی زۆر جیاواز؛ توێژەران لەم کارەدا زۆرجار ناکۆکییان لە نێوان مەرجەکانی بەکارهێنان و robots.txt دا دۆزییەوە Longpre و هاوکاران 2024. بۆیە پشکنینەکە هەر کراولەرێک بە جیا نیشان دەدات.

ڕاهێنان، بۆ نموونە GPTBOT، CLAUDEBOT، CCBOTماڵپەڕی ئێوەROBOTS.TXTکراولەر کۆ دەکاتەوەداهاتوومۆدێلگەڕانی AI، بۆ نموونە OAI-SEARCHBOT، PERPLEXITYBOTماڵپەڕی ئێوەROBOTS.TXTئیندێکسی گەڕانوەڵام لەگەڵسەرچاوەهێنان بە داوای بەکارهێنەر، بۆ نموونە CHATGPT-USERپرسیار لە چاتهێنانی پەڕەیەکماڵپەڕی ئێوەڕاهێنان، بۆ نموونە GPTBOT،CLAUDEBOT, CCBOTماڵپەڕی ئێوەROBOTS.TXTکراولەر کۆ دەکاتەوەمۆدێلی داهاتووگەڕانی AI، بۆ نموونە OAI-SEARCHBOT،PERPLEXITYBOTماڵپەڕی ئێوەROBOTS.TXTئیندێکسی گەڕانوەڵام لەگەڵ سەرچاوەهێنان بە داوای بەکارهێنەر، بۆ نموونە CHATGPT-USERپرسیار لە چاتهێنانی پەڕەیەکماڵپەڕی ئێوە
وێنەی 1 · سێ ڕێگا کە AI پێیاندا ماڵپەڕەکەتان دەخوێنێتەوەزێڕین = ڕێساکەتان لە ROBOTS.TXT · پچڕپچڕ = ڕێسا هەمیشە کار ناکات
چوار جۆر، بەپێی قسەی خاوەنەکانیان
جۆرتۆمارەکانچی دەکەن
گەڕانی AI11ئەو ئیندێکسە دروست دەکات کە یاریدەدەرێکی AI یان بزوێنەرێکی گەڕان وەڵام و سەرچاوەی لێوە دەهێنێت. ئەگەر ڕێگری لێ بکرێت، پەڕەکە لەوێ کەمتر یان هەرگیز وەک سەرچاوە دەرناکەوێت.
ڕاهێنان6ناوەڕۆک کۆ دەکاتەوە کە مۆدێلە زمانییەکان لێیەوە فێر دەبن. قەدەغەکردن کار لە ڕاهێنانەکانی داهاتوو دەکات، نەک لە مۆدێلە پێشتر ڕاهێنراوەکان.
سویچی ڕاهێنان2کراولەرێکی جیا نییە. ڕێساکە بە خاوەنەکەی دەڵێت ئایا بۆی هەیە ئەوەی بە هەر حاڵ هێناویەتی بۆ ڕاهێنان بەکار بهێنێت.
هێنان بە داوای بەکارهێنەر7تەنیا یەک پەڕە دەهێنێت، چونکە مرۆڤێک لە ئێستادا داوای دەکات. چەند کۆمپانیایەک دەنووسن کە robots.txt بۆ ئەمە کار ناکات یان هەمیشە کار ناکات.

دوو تۆمار شایەنی سەیرکردنێکی دووەمن. Common Crawl خۆی هیچ مۆدێلێک ڕاناهێنێت، بەڵام گەورەترین ئەرشیفی ئازادی وێب دروست دەکات، و ئەوە یەکێکە لە گرنگترین سەرچاوەکان بۆ پێش-ڕاهێنانی مۆدێلە زمانییە گەورەکان Baack 2024. بۆ نموونە کۆکراوەی ڕاهێنانی ناسراوی C4 تەنیا لە یەک کۆپیی لەو جۆرە دروست بوو Dodge و هاوکاران 2021. بۆیە ئەوەی ڕاهێنان ڕەت دەکاتەوە، ڕێگە لە CCBot یش دەگرێت؛ بەڵام ئەوەی پێشتر لە کۆپییەکدا هەیە، هیچ ڕێسایەک نایگەڕێنێتەوە. دووەمیان Googlebot ە: لە لیستەکەدایە، چونکە پوختەکانی AI و دۆخی AI (AI Mode) لە گەڕانی Google لەسەر ئیندێکسەکەی ئەو بنیات نراون. هیچ کەسێک کە دەیەوێت لە Google بدۆزرێتەوە، ڕێگەی لێ ناگرێت.

هەموو 27 کراولەرە تۆمارکراوەکە

لیستی کراولەرەکان، لە 14ی نۆڤەمبەری 2026 بەرامبەر بەڵگەنامەی هەر کۆمپانیایەک پشکنراوە
ناو لە robots.txtخاوەنئامانجrobots.txt کار دەکاتخاوەنەکەی چی دەنووسێت
OAI-SearchBotOpenAIگەڕانی AIبەڵێ، بەپێی خاوەنەکەیگەڕان لە ChatGPT دابین دەکات. ئەوەی ڕێگەی لێ بگرێت، لەوێ وەک سەرچاوە لە وەڵامەکاندا دەرناکەوێت.
Claude-SearchBotAnthropicگەڕانی AIبەڵێ، بەپێی خاوەنەکەیبۆ گەڕان لە Claude کار دەکات. ئەگەر ڕێگری لێ بکرێت، پەڕەکە لەوێ کەمتر لە ئەنجامەکاندا دەردەکەوێت.
GooglebotGoogleگەڕانی AIبەڵێ، بەپێی خاوەنەکەیکراولەری گەڕانی Google.‎ پوختەکانی AI و دۆخی AI یش ئەم ئیندێکسە بەکار دەهێنن؛ لەوێ کۆنترۆڵ بە nosnippet، max-snippet و noindex دەکرێت.
PerplexityBotPerplexityگەڕانی AIبەڵێ، بەپێی خاوەنەکەیئەو ئیندێکسە دروست دەکات کە Perplexity لینکی سەرچاوەکانی لێوە دەدات. بەپێی خاوەنەکەی بۆ ڕاهێنانی مۆدێل نییە.
ApplebotAppleگەڕانی AIبەڵێ، بەپێی خاوەنەکەیکراولەر بۆ گەڕان لە Siri، Spotlight و Safari.‎ بەپێی Apple داتاکان دەکرێت بچنە ناو ڕاهێنانی مۆدێلەکانی Apple ەوە؛ بۆ ئەمە Applebot-Extended هەیە.
meta-webindexerMetaگەڕانی AIبەڵێ، بەپێی خاوەنەکەیبۆ گەڕان لە Meta AI ئیندێکس دەکات، بۆ ئەوەی Meta بتوانێت ناوەڕۆک وەک سەرچاوە بهێنێت و لینکی بدات.
Amzn-SearchBotAmazonگەڕانی AIبەڵێ، بەپێی خاوەنەکەیبۆ گەڕان لە بەرهەمەکانی Amazon وەک Alexa، بەپێی Amazon بۆ ڕاهێنان نییە.
bingbotMicrosoftگەڕانی AIبەڵێ، بەپێی خاوەنەکەیکراولەری Bing.‎ Microsoft ناوێکی تایبەتی AI ناو نابات؛ لە فێبرایەری 2027 ەوە ڕێنماییەکانی ڕاهێنان و وەڵامەکانی AI ڕوو لە Bingbot دەکەن.
MistralAI-IndexMistralگەڕانی AIبەڵێ، بەپێی خاوەنەکەیتەنیا بۆ ئیندێکسی گەڕان کراول دەکات، بەپێی Mistral بۆ ڕاهێنان نییە.
DuckAssistBotDuckDuckGoگەڕانی AIبەڵێ، بەپێی خاوەنەکەیلە کاتی ڕاستەقینەدا پەڕە دەهێنێت بۆ وەڵامەکانی AI ی DuckDuckGo، لەگەڵ ناوی سەرچاوە. بەپێی خاوەنەکەی بۆ ڕاهێنان نییە.
YouBotYou.comگەڕانی AIبەڵێ، بەپێی خاوەنەکەیکراولەری بزوێنەری گەڕانی You.com.‎ پابەندی robots.txt دەبێت، لەگەڵ Crawl-delay.‎
GPTBotOpenAIڕاهێنانبەڵێ، بەپێی خاوەنەکەیناوەڕۆک کۆ دەکاتەوە کە دەکرێت بچێتە ناو ڕاهێنانی مۆدێلەکانی OpenAI ەوە. بەپێی OpenAI ڕێگری واتە: بۆ ڕاهێنان بەکار ناهێنرێت.
ClaudeBotAnthropicڕاهێنانبەڵێ، بەپێی خاوەنەکەیناوەڕۆک کۆ دەکاتەوە کە دەکرێت بچێتە ناو ڕاهێنانی مۆدێلەکانی Anthropic ەوە. Anthropic پابەندی robots.txt و Crawl-delay یش دەبێت.
meta-externalagentMetaڕاهێنانبەڵێ، بەپێی خاوەنەکەیبۆ ڕاهێنانی مۆدێلەکانی AI و بۆ بەرهەمەکانی Meta کۆ دەکاتەوە.
AmazonbotAmazonڕاهێنانبەڵێ، بەپێی خاوەنەکەیبەرهەمەکانی Amazon باشتر دەکات، ئەمەش دەکرێت ڕاهێنانی مۆدێلەکانی AI ی Amazon بگرێتەوە. Crawl-delay ڕەچاو ناکات.
MistralAI-TrainingMistralڕاهێنانبەڵێ، بەپێی خاوەنەکەیناوەڕۆک بۆ داتای ڕاهێنانی مۆدێلەکانی Mistral کۆ دەکاتەوە.
CCBotCommon Crawlڕاهێنانبەڵێ، بەپێی خاوەنەکەیئەرشیفێکی ئازادی وێب دروست دەکات. Common Crawl خۆی هیچ ڕاناهێنێت، بەڵام ئەرشیفەکە یەکێکە لە گرنگترین سەرچاوەکانی داتای ڕاهێنان.
Google-ExtendedGoogleسویچی ڕاهێنانبەڵێ، بەپێی خاوەنەکەیکراولەرێکی جیا نییە، بەڵکو سویچێکە: ئایا ئەوەی Google هێناویەتی بۆی هەیە بچێتە ناو ڕاهێنانی مۆدێلەکانی داهاتووی Gemini و پشتبەستنی وەڵامەکانی Gemini ەوە؟ بەپێی Google کاریگەری لەسەر گەڕانی Google نییە.
Applebot-ExtendedAppleسویچی ڕاهێنانبەڵێ، بەپێی خاوەنەکەیکراولەرێکی جیا نییە. ئەگەر ڕێگری لێ بکرێت، Apple ناوەڕۆکەکە بۆ ڕاهێنانی مۆدێلەکانی بەکار ناهێنێت؛ پەڕەکە لە گەڕاندا دەمێنێتەوە.
ChatGPT-UserOpenAIهێنان بە داوای بەکارهێنەرهەمیشە ناپەڕەیەک دەهێنێت کاتێک کەسێک لە ChatGPT داوای دەکات. بەپێی OpenAI لەوانەیە ڕێساکانی robots.txt بۆ ئەمە کار نەکەن.
Claude-UserAnthropicهێنان بە داوای بەکارهێنەربەڵێ، بەپێی خاوەنەکەیپەڕە دەهێنێت کاتێک بەکارهێنەران لە Claude پرسیار دەکەن. Anthropic دەنووسێت کە بۆتەکانی پابەندی robots.txt دەبن.
Google-AgentGoogleهێنان بە داوای بەکارهێنەرهەمیشە نابە ناوی بەکارهێنەرێکەوە بەناو وێبدا دەگەڕێت و کار ئەنجام دەدات. بەپێی Google هێنان بە داوای بەکارهێنەر بە زۆری robots.txt پشتگوێ دەخات.
Perplexity-UserPerplexityهێنان بە داوای بەکارهێنەرهەمیشە ناپەڕە دەهێنێت کاتێک بەکارهێنەرێک پرسیار دەکات. بەپێی Perplexity بە زۆری robots.txt پشتگوێ دەخات.
meta-externalfetcherMetaهێنان بە داوای بەکارهێنەرهەمیشە نالینکی تاک بە داوای بەکارهێنەر دەهێنێت، بۆ بریکارەکانی AI (AI agents) یش. بەپێی Meta دەکرێت robots.txt تێپەڕێنێت.
Amzn-UserAmazonهێنان بە داوای بەکارهێنەرهەمیشە ناداتای نوێ بۆ پرسیارێکی بەکارهێنەر دەهێنێت، بۆ نموونە لە Alexa.‎ بەپێی Amazon پابەندی هەموو ڕێساکانی robots.txt نابێت.
MistralAI-UserMistralهێنان بە داوای بەکارهێنەربەڵێ، بەپێی خاوەنەکەیپەڕەیەک دەهێنێت کاتێک بەکارهێنەرێک پرسیار دەکات، و وەک سەرچاوە لینکی دەدات. بەپێی Mistral گرووپەکەی robots.txt دیاری دەکات کام پەڕانە بۆ ئەمە گونجاون.
BytespiderByteDanceڕوون نییەبەڵگەی نییەهیچ بەڵگەنامەیەکی خاوەنەکەی نەدۆزرایەوە. ئامانج و مامەڵەکردن لەگەڵ robots.txt بەڵگەیان نییە.

تۆمار نەکراون: ئەو ناوانەی لە لیستەکانی بۆتدا هەن بەڵام خاوەنەکەیان خۆی ناویان نابات (بۆ نموونە anthropic-ai یان cohere-ai). بەپێی بەڵگەنامەی خۆی Cohere ئێستا هیچ کراولەرێکی نییە؛ Microsoft ناوێکی تایبەتی AI ناو نابات، ڕێنماییەکانی بۆ AI ڕوو لە bingbot دەکەن. دوایین نوێکردنەوە 14ی نۆڤەمبەری 2026.

ڕێگری لە ڕاهێنان، ڕێگەدان بە گەڕانی AI: بلۆکی گونجاو

زۆربەی کۆمپانیاکان هەمان شتیان دەوێت: لە وەڵامەکانی ChatGPT، Claude یان Perplexity وەک سەرچاوە دەربکەون، بەڵام بەبێ پرسیار کەرەستەی ڕاهێنان نەدەن. دروستکەرەکە پێشوەخت بەم شێوەیە ڕێکخراوە. هەر گرووپێک بە جیا و تەنیا بە Allow و Disallow بەبێ نیشانەی جێگرەوە (wildcard) دەنووسێت، چونکە کراولەرە بازرگانییەکانیش هێشتا هەندێک ڕێسا بە هەڵە تێدەگەن Giles و هاوکاران 2010. بلۆکەکە دەخەنە ناو robots.txt ە هەنووکەییەکەتانەوە؛ گرووپی «User-agent: *» وەک خۆی دەمێنێتەوە.

دروستکەر · بلۆکی robots.txt

کۆمپانیاکانی AI بۆیان هەیە ناوەڕۆکەکەتان بۆ ڕاهێنان بەکار بهێنن؟

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, MistralAI-Training, CCBot, Bytespider

خزمەتگوزارییەکانی گەڕانی AI بۆیان هەیە پەڕەکانتان بخوێننەوە و وەک سەرچاوە ناویان بهێنن؟

OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer, Amzn-SearchBot, MistralAI-Index, DuckAssistBot, YouBot

یاریدەدەرەکان بۆیان هەیە پەڕەیەک بهێنن کاتێک کەسێک داوای دەکات؟

ChatGPT-User, Claude-User, Google-Agent, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User

ئەوەی لە robots.txt ەکەتاندا لە ژێر «User-agent: *» داخراوە، دەچێتە ئێرە. کراولەرە ناوبراوەکان بە میرات نایبەن.

# KI-Crawler, erstellt mit dem KI-Crawler-Check von aureum-tech.com (Crawler-Liste Stand 14. November 2026)
# Training: gesperrt · KI-Suche: erlaubt · Nutzerabrufe: erlaubt
# Jeder Crawler befolgt nur die Gruppe mit seinem Namen. Was für alle gesperrt sein soll, steht deshalb in jeder Gruppe.

# Training (Schalter wie Google-Extended crawlen nicht selbst, sie regeln nur die Nutzung)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: MistralAI-Training
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

# KI-Suche: liefert Antworten mit Quellenangabe
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: meta-webindexer
Allow: /

User-agent: Amzn-SearchBot
Allow: /

User-agent: MistralAI-Index
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: YouBot
Allow: /

# Nutzerabrufe: laut mehreren Betreibern nicht immer an robots.txt gebunden
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Google-Agent
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: meta-externalfetcher
Allow: /

User-agent: Amzn-User
Allow: /

User-agent: MistralAI-User
Allow: /

# Gemeinsames Trainingssignal (IETF-Entwurf vom 30.10.2026, mehrere Anbieter haben es angekündigt)
User-agent: __usage_ai-training
Disallow: /

دروستکەرەکە لە براوزەردا کار دەکات و هیچ شتێک نانێرێت.

دروستکەر · چوارچێوەی llms.txt

تەنیا ئەو پەڕانەی robots.txt ەکەتان بۆ گەڕانی AI کراوەی کردوون. چوارچێوەکە پەیڕەوی پێشنیارەکەی llmstxt.org دەکات.

# Name Ihrer Firma

> Ein Satz: Wer Sie sind, was Sie anbieten und wo.

## Wichtige Seiten

- [Leistungen](https://ihre-firma.de/leistungen): Was Sie anbieten
- [Kontakt](https://ihre-firma.de/kontakt): Telefon, Adresse, Öffnungszeiten

## Optional

- [Impressum](https://ihre-firma.de/impressum)

لە براوزەردا کار دەکات. فایلەکە بە ناوی llms.txt دەچێتە بوخچەی سەرەکیی ماڵپەڕەکەوە.

باوترین هەڵە: گرووپەکان هیچ بە میرات نابەن

کراولەرێک تەنیا پابەندی ئەو گرووپە دەبێت کە ناوی خۆی لەسەرە. ئەگەر هەبێت، ڕێسا گشتییەکە چیتر بۆی کار ناکات، تەنانەت بە بەشێکیشی. لە نموونەکەی تەنیشتدا «User-agent: *» بەشی /intern/ دادەخات، بەڵام GPTBot گرووپێکی تایبەت بە «Allow: /» وەردەگرێت.

ئەنجام بۆ /intern/preise: ClaudeBot ڕێگری لێکراوە (دێڕی 2: Disallow: /intern/ (گرووپی *))، بەڵام GPTBot بۆی هەیە بخوێنێتەوە (دێڕی 5: Allow: / (گرووپی GPTBot)). بۆیە ئەوەی دەبێت بۆ هەمووان داخراو بێت، دەبێت بچێتە ناو هەموو گرووپێکی ناوبراوەوە. لە دروستکەرەکەدا ئەم بەشانە یەک جار دەنووسن و ئەو لە هەموو شوێنێک دووبارەیان دەکاتەوە.

User-agent: *
Disallow: /intern/

User-agent: GPTBot
Allow: /

ئاماژەی هاوبەشی ڕاهێنان

لە 30ی ئۆکتۆبەری 2026 ەوە ڕەشنووسێک لای IETF هەیە کە دەیەوێت ڕێگریکردنی یەک بە یەک کورت بکاتەوە: گرووپێکی «User-agent: __usage_ai-training» لەگەڵ «Disallow: /» بە یەکجار بە هەموو کۆمپانیا بەشداربووەکان دەڵێت کە ئێوە ڕاهێنانتان ناوێت. ڕێڕەوەکان وەک هەمیشە کار دەکەن، «Allow: /presse/» فایلی ڕۆژنامەگەری دەردەهێنێت. گرووپەکە فەرمانی کراولکردن نییە، و ڕێسا گشتییەکەی «User-agent: *» بە ئاشکرا بۆ ئەمە حیساب ناکرێت. چونکە ڕەشنووسەکە نوێیە و هێشتا هەموو کۆمپانیایەک نایخوێنێتەوە، دروستکەرەکە هەردووکیان دەنووسێت: گرووپە تاکەکان و ئاماژەکە.

کێ ڕەچاوی ئاماژەی ڕاهێنان دەکات، بەپێی قسەی خۆیان
دابینکەرلە کەیەوە
Anthropicلە 30ی ئۆکتۆبەری 2026 ەوە؛ گرووپێکی ناوبراوی ClaudeBot لە پێشترە
Microsoft (Bing)لە 1ی فێبرایەری 2027 ەوە
Googleبۆ 2027 پلان کراوە؛ ئەگەر گرووپی تایبەتی Google-Extended نەبێت، Google ئەو کات «نا» وەک Google-Extended ی داخراو هەژمار دەکات
OpenAI«لە مانگەکانی داهاتوودا»؛ ڕێساکانی GPTBot دەمێننەوە

سەرچاوە: draft-kelley-aipref-training-preference-signal-00، بێ پێگەی ستاندارد، لە 3ی مەی 2027 بەسەر دەچێت. دوایین نوێکردنەوە 14ی نۆڤەمبەری 2026.

کراولەرێک چۆن robots.txt ەکەتان دەخوێنێتەوە

لە سێپتەمبەری 2022 ەوە ئەم ڕێکارە وەک RFC 9309 نووسراوەتەوە، و پشکنینەکەش بەپێی ئەوە حیساب دەکات. فایلەکە هەمیشە لە /robots.txt لە بوخچەی سەرەکیدایە و تەنیا بۆ ئەو هۆستە کار دەکات: ئەگەر ihre-firma.de بۆ www.ihre-firma.de بگوازرێتەوە، فایلەکەی www.‎ حیساب دەکرێت. کراولەرەکە بەدوای ئەو گرووپەدا دەگەڕێت کە ناوی خۆی لەسەرە، پیتی گەورە و بچووک گرنگ نییە؛ ئەگەر نەبوو، «User-agent: *» وەردەگرێت، و ئەگەر ئەویش نەبوو، بۆی هەیە هەموو شتێک بخوێنێتەوە. لە ناو گرووپدا درێژترین ڕێسای گونجاو دەباتەوە، لە یەکسانیدا Allow.‎ ئەستێرەیەک بۆ هەر زنجیرەیەک لە پیتە ئارەزوومەندانەکانە، دۆلارێک لە کۆتاییدا بۆ کۆتایی ئەدرەسەکە.

هەر لە 2007 دا ڕووپێوییەک لەسەر 7.593 ماڵپەڕ نیشانی دا کە فایلەکە زیاتر و زیاتر بەکار دەهێنرێت، و هەروەها ئەوەی کە چییە: ڕێسایەک کە کراولەرە ڕێکوپێکەکان پابەندی دەبن، نەک سەپاندن Sun و هاوکاران 2007. هیچ شتێک لەمەدا نەگۆڕاوە.

کۆدی دۆخی robots.txt واتای چییە
وەڵامRFC 9309Google
200، فایلی دەقڕێساکان کار دەکەن، لانیکەم 500 KiB دەخوێنرێتەوەهەروەها، هەموو شتێک دوای 500 KiB پشتگوێ دەخرێت
200، بەڵام پەڕەیەکی وێبهیچ دێڕێکی دروست نییە، کەواتە هیچ ڕێسایەک نییەهەروەها
404 و 4xx ی ترrobots.txt نییە، هەموو شتێک ڕێگەپێدراوەهەموو شتێک ڕێگەپێدراوە، جگە لە 429
429 داواکاریی زۆروەک 4xxوەک هەڵەی سێرڤەر
5xx یان دەستی پێ ناگاتهەموو شتێک داخراوە12 کاتژمێر هیچ کراولکردنێک نییە، دواتر تا 30 ڕۆژ دوایین وەشانی باش
گواستنەوە (Redirect)لانیکەم پێنج گواستنەوە بەدوایدا دەکەوێتلانیکەم پێنج گواستنەوە بەدوایدا دەکەوێت، دواتر وەک 404

Google زۆرجار فایلەکە تا 24 کاتژمێر هەڵدەگرێت، Amazon تا 30 ڕۆژ. بۆیە گۆڕانکارییەکان دەستبەجێ کار ناکەن. هێنانەکەی ئێمە زۆرترین سێ گواستنەوە دەگرێتە بەر. دوایین نوێکردنەوە 14ی نۆڤەمبەری 2026.

ڕێنمایی لەسەر خودی پەڕەکان

جگە لە robots.txt ڕێنمایی بۆ هەر پەڕەیەک هەیە، وەک Meta-Tag لە سەری پەڕەکە یان وەک X-Robots-Tag لە وەڵامی سێرڤەردا. پشکنینەکە لە پەڕەی سەرەکیدا دەیانخوێنێتەوە. بۆ AI بە تایبەتی ئەمانە گرنگن: noindex پەڕەکە لە ئیندێکسی گەڕان و بەم شێوەیە لە پوختەکانی AI یش دەردەهێنێت، nosnippet لای Google کورتەی دەق قەدەغە دەکات، لە پوختەکانی AI و دۆخی AI یشدا. Amazon noarchive وەک «نەک بۆ ڕاهێنان» دەخوێنێتەوە. Microsoft لە 1ی فێبرایەری 2027 ەوە ڕێنماییی تایبەت بۆ ڕاهێنان و پشتبەستن دەهێنێتە ئاراوە (ai-training، ai-grounding) و لە مارسی 2027 ەوە noarchive و nocache چیتر وەک ڕێنماییی AI ناخوێنێتەوە. ڕێنماییی وەک «noai» بڵاون، بەڵام هیچ کۆمپانیایەک لە لیستەکەماندا بەڵگەنامەی بۆ نەنووسیوە.

ئەوەی robots.txt ناتوانێت بیکات

  • داواکارییەکە. لە تاقیکردنەوەیەکدا لەگەڵ 130 بۆتی ناوبراو بە درێژایی 40 ڕۆژ، بۆتەکان کەمتر پابەندی ڕێسا توندەکان بوون، و کراولەرەکانی گەڕانی AI زۆرجار هەر داوای فایلەکەیان نەکرد Kim و هاوکاران 2025.
  • تەنیا بە ناو کار دەکات. بە ماڵپەڕی تایبەت ئامادەکراو توانرا بسەلمێنرێت کام هێنەر کام سیستەمی AI دابین دەکات، لە ناویاندا چەندانێک کە خاوەنەکەیان ئاشکرای ناکات Seiden و هاوکاران 2026. ئەوەی بە ناوێکی بێگانە دێت، بەر هیچ ڕێسایەک ناکەوێت.
  • هێنان بە داوای بەکارهێنەر هەندێک جار تێدەپەڕێت. OpenAI، Perplexity، Meta، Amazon و Google خۆیان دەنووسن کە هێنانەکانیان بە داوای بەکارهێنەر هەمیشە پابەندی robots.txt نابن. Anthropic و Mistral فایلەکە بۆ ئەمەش وەک ئامرازی کۆنترۆڵ ناو دەبەن.
  • ڕێگریی ڕاستەقینە لەسەر سێرڤەرە. هونەرمەندان زۆرجار زانیاری یان دەستگەیشتنیان بە ماڵپەڕی خۆیان بۆ robots.txt نەبوو، ڕێگری لەسەر Reverse-Proxy باشتر دەیپاراستن Liu و هاوکاران 2025. بە پێچەوانەوە هەندێک هۆستەر و دروستکەری ماڵپەڕ ڕێگە لە کراولەرەکان دەگرن بەبێ ئەوەی خاوەنی ماڵپەڕ بزانێت: لە کۆپییەکی Common Crawl دا نزیکەی 1,68 لەسەدی ماڵپەڕەکان بە ئاشکرا کراولەرەکەیان ڕەت کردەوە Ansar و هاوکاران 2025. ئەگەر پەڕەی سەرەکیتان بە پەڕەیەکی پشکنین وەڵامی هێنانەکەمان بداتەوە، پشکنینەکە ئەوە ڕادەگەیەنێت.
  • هێنانەکەی ئێمە کراولەری AI نییە. سێرڤەرەکە بە ناسنامەی خۆی دەهێنێت. ئەگەر فایەروۆڵێک بەپێی ناو ڕێگە لە کراولەرەکان بگرێت، بۆ نموونە بە ڕێکخستنێک لە Cloudflare، پشکنینەکە ئەوە نابینێت.

ئەی لە ڕووی یاساییەوە؟

بەپێی § 44b Abs.‎ 3 UrhG Text and Data Mining لەسەر بەرهەمی بە ئازادی بەردەست ڕێگەپێدراوە، تا ئەو کاتەی خاوەنی مافەکە بۆ خۆی ڕای نەگرتبێت، و بۆ ناوەڕۆک لەسەر ئینتەرنێت تەنیا ڕاگرتنێک حیساب دەکرێت کە بە شێوەیەکی خوێندراو بە ماشێن بێت. robots.txt بە ماشێن دەخوێندرێتەوە، بەڵام ئایا وەک ڕاگرتن بەسە، بە تەواوی یەکلا نەکراوەتەوە. توێژینەوەیەکی یاسایی بۆ وڵاتانی Common Law ئەوە دەسەلمێنێت کە پشتگوێخستنی فایلەکە لە هەندێک بارودۆخدا دەکرێت بەرپرسیارێتی دروست بکات Chang و He 2025؛ بۆ ئەڵمانیا ئەمە دەبێت بە جیا بپشکنرێت. بۆیە ئەوەی دەیەوێت ڕاگرتنێک ڕابگەیەنێت، زیاد لەوە لە زانیاریی یاسایی (Impressum) یان لە مەرجەکانی بەکارهێناندا دەینووسێت. ئەمە ڕاوێژی یاسایی نییە.

llms.txt: فایلەکە چی دەتوانێت و چی ناتوانێت

llms.txt لە 3ی سێپتەمبەری 2024 دا Jeremy Howard پێشنیاری کرد، وەسفەکەی لە llmstxt.org دایە. فایلێکی Markdown ە لە /llms.txt: سەردێڕێک بە ناوەکە، ئەمە تاکە بەشی پێویستە، پاشان کورتەیەک وەک وەرگیراو (quote)، و ئەگەر بتانەوێت چەند ڕستەیەک و بەشگەلێک بە لیستی لینک بۆ گرنگترین پەڕەکان. بەشێکی «Optional» ئەو شتانە دەگرێت کە یاریدەدەرێک دەتوانێت پشتگوێیان بخات.

پێوانەیەک لەسەر نزیکەی 4 ملیۆن دۆمەین فایلەکەی بە زۆری لای کۆمپانیا تەکنیکییەکان دۆزییەوە، و هەندێک لە لینکەکانی ڕوویان لە پەڕەگەلێک دەکرد کە robots.txt ی خۆیان دایخستبوون Hoffmann و هاوکاران 2026. پشکنینەکە ڕێک ئەمە دەپشکنێت. ڕێنیشاندەرێک بۆ پەڕە داخراوەکان بە هیچ کوێ ناگات.

بە ڕاستگۆیی: Google لە بەڵگەنامەکەیدا دەربارەی پوختەکانی AI دەنووسێت کە بۆ ئەمە پێویست ناکات فایلی نوێی خوێندراو بە ماشێن دروست بکرێت، و هیچ یەک لەو کۆمپانیایانەی لێرە تۆمار کراون لە بەڵگەنامەی کراولەرەکەیدا نانووسێت کە llms.txt ی ماڵپەڕی خەڵکی تر دەخوێنێتەوە. کەواتە ئامرازێک نییە بۆ دەرکەوتن. لەگەڵ ئەوەشدا بەسوودە، وەک خۆناساندنێکی کورت و ڕێکوپێک کە یاریدەدەرێک لە کاتی هێنان بە داوای بەکارهێنەردا دەتوانێت بیخوێنێتەوە، و چونکە لە دە خولەکدا ئامادە دەبێت.

هی خۆمان لە aureum-tech.com/llms.txt دایە. چوارچێوەی هی ئێوە دروستکەرەکەی سەرەوە دروستی دەکات.

ڕێگەپێدان بە خوێندنەوە هێشتا واتای ناوهێنان نییە

پشکنینەکە وەڵامی پرسیارێکی پێشوەخت دەداتەوە. ئایا ChatGPT کۆمپانیاکەتان ناو دەبات کاتێک کەسێک بەدوای کارەباچییەک لە پلاوەن دەگەڕێت، بەستراوە بە ناوەڕۆکی پەڕەکانتان و بەوەی خەڵکی تر دەربارەتان دەینووسن. لە تاقیکردنەوەکاندا دەرکەوتنی سەرچاوەکان لە وەڵامەکانی AI دا بە ئامادەکردنی ناوەڕۆک تا 40 لەسەد زیاد کرا، بەپێی بواری پسپۆڕی بە ئامرازی جیاواز Aggarwal و هاوکاران 2024. لای Google لە پێوانەیەکدا لەگەڵ 55.393 گەڕان، لە 13,7 لەسەدی حاڵەتەکاندا پوختەیەکی AI دەرکەوت، بۆ پرسیارەکان لە 64,7 لەسەد، و نزیکەی 30 لەسەدی ئەو دۆمەینانەی لەوێ وەک سەرچاوە هێنرابوون لە ئەنجامەکانی پەڕەی یەکەمدا نەبوون Xu و هاوکاران 2026.

ناوهێنان واتای وەرگرتنی دروستیش نییە. لە چوار بزوێنەری گەڕانی AI دا بە تێکڕا تەنیا کەمێک زیاتر لە نیوەی ڕستەکان بە سەرچاوە ناوبراوەکان پشتگیری کرابوون Liu و هاوکاران 2023. و ئەوەی ڕێگە لە کراولەری AI ی Google بگرێت، کەمتر لە پوختەکانی AI دا وەک سەرچاوە بەکار دەهێنرێت، هەرچەندە Google دەنووسێت سویچەکە کار لە گەڕان ناکات Grossman و هاوکاران 2026.

کۆمپانیاکەتان بەڕاستی چەند لە ChatGPT، Perplexity و AI ی Google دا دیارە، پشکنینی خێرای SpotLens نیشانی دەدات. چۆن ناوەڕۆک و داتای ڕێکخراو بەو شێوەیە دروست دەکەین کە گەڕانەکانی AI وەک سەرچاوە ناویان بهێنن، لە AI-SEO دا هاتووە. ئەوەی دەیەوێت سەرەتا خۆی سەیر بکات، لە ڕێنماییەکاندا دەدۆزێتەوە چۆن دەرکەوتن لە ChatGPT بپشکنێت و دەرکەوتن لە AI بۆ کۆمپانیاکان واتای چییە. ڕێسا تاکەکان لە تاقیکەرەوەی robots.txt دا تاقی دەکەنەوە، ئامرازی تر بۆ دۆزرانەوە لە SEO و دەرکەوتن دان.

توێژینەوەکان چی دەڵێن

هەڵسەنگاندنی ناو پشکنینەکە پشت بە 15 توێژینەوەی پێداچوونەوەکراو دەبەستێت. گرنگترین دەرئەنجامەکان لێرەن، لیستی تەواو لەگەڵ تێبینیی پشکنین لە خوارەوەیە.

  • ڕێگرییەکان زیاد دەبن، و بە شێوەی ناڕێک. لە ماوەی یەک ساڵدا بەشێکی گەورە لە سەرچاوەکانی پشت داتای ڕاهێنانی AI داخران، بەپێی کۆمپانیا جیاواز Longpre و هاوکاران 2024. بۆیە پشکنینەکە کراولەرەکان بە جیا نیشان دەدات.
  • ڕێساکان بە هەڵبژاردن پەیڕەو دەکرێن. تا ڕێساکە توندتر بێت، بۆتەکان کەمتر پابەندی دەبوون Kim و هاوکاران 2025. بۆیە پشکنینەکە هیچ شتێک ناپێوێت کە ناتوانێت بیپێوێت، و ئەوە دەڵێت.
  • ڕاهێنان بە ئەرشیفەکاندا دەڕوات. Common Crawl یەکێکە لە گرنگترین سەرچاوەکانی پێش-ڕاهێنان Baack 2024، و کۆکراوەی وەک C4 لە کۆپیی تاکەوە دروست دەبن Dodge و هاوکاران 2021. بۆیە پشکنینەکە ئاگادار دەکاتەوە ئەگەر CCBot کراوە بمێنێتەوە.
  • پوختەکانی AI سەرچاوەی خۆیان هەڵدەبژێرن. زۆرێک لە دۆمەینە ناوبراوەکان لە پەڕەی یەکەمدا نین Xu و هاوکاران 2026، و کراولەری AI ی داخراو لەگەڵ ناوهێنانی کەمتر پێکەوە دێن Grossman و هاوکاران 2026.
  • llms.txt نوێیە و زۆرجار ناکۆکە. لینکەکانی ناو فایلەکە هەندێک جار ڕوو لە پەڕە داخراوەکان دەکەن Hoffmann و هاوکاران 2026؛ پشکنینەکە هەموو لینکێکی ناوخۆیی دەپشکنێت.

بەکارهێنانی ئەم ئامرازە لە یاریدەدەرێکی AI

یاریدەدەرەکانی وەک Claude یان ChatGPT کە Model Context Protocol (MCP) بەکار دەهێنن، دەتوانن ڕاستەوخۆ حیسابەکەی ئەم پەڕەیە بانگ بکەن، لە جیاتی ئەوەی خۆیان دووبارە دروستی بکەنەوە. سێرڤەرەکە گشتییە، پێویستی بە تۆمارکردن نییە و هیچ شتێک هەڵناگرێت. وەڵامەکە هەمیشە بەستەری ئەم پەڕەیە، بەرواری نوێکردنەوەی داتاکان و سنووری ئەنجامەکەی تێدایە.

خاڵی پەیوەندی (Endpoint)
https://aureum-tech.com/mcp
ئامراز
werkzeug_ki_crawler_check
گواستنەوە
Streamable HTTP، تەنیا خوێندنەوە
زانیارییە داخڵکراوەکان
ناوپێویستواتا
domainنەخێردۆمەینی ماڵپەڕ، بۆ نموونە ihre-firma.de یان https://www.ihre-firma.de.‎ ڕێڕەو پشتگوێ دەخرێت، robots.txt هەمیشە لە بوخچەی سەرەکیدایە. تەنیا ماڵپەڕە گشتییەکان، Port 80 یان 443.
robots_txtنەخێرلە جیاتی دۆمەین: دەقی robots.txt ێک کە بەبێ هێنان هەڵدەسەنگێنرێت. لەگەڵ domain پێکەوە مەینووسن.
pfadنەخێرئەو ڕێڕەوەی بۆی دەپشکنرێت، بۆ نموونە /blog/artikel.‎ بەبێ نووسین پەڕەی سەرەکی «/».

ئەو پرسیارانەی کە یاریدەدەر دەبێت ئەم ئامرازەیان بۆ بانگ بکات

  • «ChatGPT بۆی هەیە ماڵپەڕەکەم handwerk-muster.de بخوێنێتەوە؟»
  • «ئایا robots.txt ەکەمان بە هەڵە ڕێگە لە گەڕانی AI ی Perplexity و ChatGPT دەگرێت؟»
  • «چۆن ڕاهێنانی AI قەدەغە بکەم، بەڵام لە گەڕانی ChatGPT و Claude دا دیار بمێنم؟»
  • «ئایا www.beispiel-praxis.de llms.txt ی هەیە، و لینکەکانی ڕوو لە پەڕە داخراوەکان دەکەن؟»

بەستنەوەکە چۆن کار دەکات و MCP لە کۆمپانیاکەی خۆتاندا چی دەتوانێت بکات، لە پەڕەی بەستنەوەی MCP نووسراوە.

پرسیارە باوەکان دەربارەی کراولەرەکانی AI، robots.txt و llms.txt

چۆن ڕێگە لە ڕاهێنانی AI بگرم بەبێ ئەوەی لە گەڕانی ChatGPT دەربچم؟

OpenAI ئەم دووانە لێک جیا دەکاتەوە: GPTBot بۆ ڕاهێنان کۆ دەکاتەوە، OAI-SearchBot بۆ گەڕان لە ChatGPT، و هەر ڕێکخستنێک بە تەنیا کار دەکات. کەواتە لە robots.txt دا GPTBot «Disallow: /» وەردەگرێت و OAI-SearchBot «Allow: /». لای Anthropic هەمان شت بۆ ClaudeBot و Claude-SearchBot ڕاستە، لای Google ڕێگە لە Google-Extended دەگرن و دەست لە Googlebot نادەن. دروستکەرەکەی ئەم پەڕەیە هەموو بلۆکەکە بۆ هەموو کۆمپانیا تۆمارکراوەکان دەنووسێت.

جیاوازیی نێوان GPTBot، OAI-SearchBot و ChatGPT-User چییە؟

GPTBot ناوەڕۆک کۆ دەکاتەوە کە دەکرێت بچێتە ناو ڕاهێنانی مۆدێلەکانی داهاتووەوە. OAI-SearchBot ئەو ئیندێکسە دروست دەکات کە ChatGPT لە کاتی گەڕاندا سەرچاوەی لێوە ناو دەبات؛ بەپێی OpenAI ئەوەی ڕێگەی لێ بگرێت، لەوێ لە وەڵامەکاندا دەرناکەوێت. ChatGPT-User تەنیا یەک پەڕە دەهێنێت، چونکە کەسێک لە چاتدا لە ئێستادا پرسیاری لێ دەکات. بەپێی OpenAI لەوانەیە ڕێساکانی robots.txt بۆ ئەم هێنانە کار نەکەن.

ئەگەر ڕێگە لە Google-Extended بگرم، ماڵپەڕەکەم لە Google دەردەچێت؟

نەخێر. Google-Extended کراولەرێکی جیا نییە، بەڵکو سویچێکە بۆ ئەوەی Google بۆی هەیە ئەوەی هێناویەتی بۆ ڕاهێنانی Gemini و بۆ پشتبەستنی (grounding) وەڵامەکانی Gemini بەکار بهێنێت یان نا. بەپێی Google کاریگەریی نە لەسەر هاتنە ناو گەڕان هەیە و نە لەسەر ڕیزبەندی. پوختەکانی AI (AI Overviews) لە گەڕانی Google دا بە Googlebot و ڕێساکانی Snippet وەک nosnippet بەستراون. بەڵام پێوانەیەک لە 2026 دا دۆزییەوە کە ئەو پەڕانەی ڕێگەیان لە کراولەری AI ی Google گرتووە، کەمتر وەک سەرچاوە لە پوختەکانی AI دا دەردەکەون.

پێویستم بە llms.txt هەیە؟

پێویست نییە. llms.txt پێشنیارێکی Jeremy Howard ە لە سێپتەمبەری 2024: فایلێکی Markdown بە سەردێڕ، کورتەیەک و لینک بۆ گرنگترین پەڕەکان. Google بە ئاشکرا دەنووسێت کە بۆ پوختەکانی AI پێویست بە هیچ فایلێکی نوێی خوێندراو بە ماشێن نییە، و هیچ یەک لەو کۆمپانیایانەی لێرە تۆمار کراون لە بەڵگەنامەی کراولەرەکەیدا نانووسێت کە دەیخوێنێتەوە. زیانی نییە و زوو ئامادە دەکرێت؛ دروستکەرەکە چوارچێوەکەی بۆ دەدات. گرنگتر ئەوەیە کە لینکەکانی ڕوو لە پەڕە داخراوەکان نەکەن.

هەموو کراولەرێک پابەندی robots.txt دەبێت؟

نەخێر. robots.txt داواکارییەکە، نەک قوفڵ. پێوانەکان نیشانی دەدەن کە بۆتەکان کەمتر پابەندی ڕێسا توندترەکان دەبن و کراولەرەکانی گەڕانی AI زۆرجار هەر داوای فایلەکە ناکەن. بەپێی خاوەنەکانیان، هێنانی پەڕە بە داوای بەکارهێنەر وەک ChatGPT-User، Perplexity-User یان meta-externalfetcher هەندێک جار robots.txt پشتگوێ دەخەن، و ئەوەی بێ ناو کۆ دەکاتەوە لە هیچ ڕێسایەکدا دەرناکەوێت. ئەوەی بەڕاستی دەیەوێت ڕێگە بگرێت، پێویستی بە ڕێگری لەسەر سێرڤەر یان لای هۆستەر هەیە.

ڕێگرییەک بۆ ئەو مۆدێلانەش کار دەکات کە پێشتر ڕاهێنراون؟

نەخێر. OpenAI و Anthropic ڕێگرییەکە وەک ئاماژەیەک بۆ ڕاهێنانی داهاتوو باس دەکەن. داتای ڕاهێنان لە کۆپییە جێگیرەکانی وێبەوە دروست دەبێت، بۆ نموونە لە ئەرشیفی Common Crawl؛ ئەوەی لەوێ هەیە، لەوێ دەمێنێتەوە. بۆیە ئەگەر ڕاهێنان ڕەت دەکەنەوە، باشە CCBot یش لەبەرچاو بگرن.

«User-agent: __usage_ai-training» واتای چییە؟

ئەمە ئاماژەی هاوبەشی ڕاهێنانە بەپێی ڕەشنووسێکی IETF لە 30ی ئۆکتۆبەری 2026. گرووپێک بەم ناوە و «Disallow: /» بە یەکجار بە هەموو کۆمپانیا بەشداربووەکان دەڵێت کە ئێوە ڕاهێنانتان ناوێت. بەپێی قسەی خۆی Anthropic ئێستا ڕەچاوی دەکات، Microsoft لە 1ی فێبرایەری 2027 ەوە، Google پلانی بۆ 2027 داناوە و OpenAI لە مانگەکانی داهاتوودا. فەرمانی کراولکردن نییە، و گرووپی «User-agent: *» بە ئاشکرا بۆ ئەمە حیساب ناکرێت.

پشکنینی کراولەری AI لە کوێدا دەوەستێت؟

ڕێساکانی robots.txt ەکەتان، llms.txt و ڕێنماییەکانی Robots لە پەڕەی سەرەکی دەخوێنێتەوە و بۆ هەر کراولەرێک دەڵێت چی ڕێگەپێدراوە. ئایا کراولەرێک پابەندی دەبێت یان نا، ئەوە ناپێوێت، و ئایا یاریدەدەرێکی AI کۆمپانیاکەتان دەناسێت و پێشنیاری دەکات، ئەوەش ناپێوێت. ئەوە پشکنینی خێرای SpotLens نیشانی دەدات؛ ناوەڕۆک دەبێت چۆن دروست بکرێت بۆ ئەوەی گەڕانەکانی AI وەک سەرچاوە ناوی بهێنن، لە بەشی AI-SEO دا هاتووە. ئەگەر بتانەوێت، فایلەکان بۆتان ڕێک دەخەین.

ئامرازەکە پشت بە چی دەبەستێت

بەها ڕێنماییکەر و تێبینییەکانی سەرەوە لەسەر ئەم 15 توێژینەوە زانستییە دامەزراون. هەریەکەیان لە ڕێگەی DOIیەکەی یان پەڕەی بڵاوکەرەوەکەیەوە پشکنراوە (دوایین جار لە 14ی نۆڤەمبەری 2026): بوونی هەیە، نەکشێنراوەتەوە، و دەرئەنجامەکەی ئەمڕۆش بۆ ئەم پرسیارە ڕاستە.

  1. Sun, Y.; Zhuang, Z.; Giles, C.‎ L.‎ (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007)، ل. 1123–1124

    دەرئەنجام پێنج ڕووپێوی لەسەر 7.593 ماڵپەڕ نیشانی دەدەن کە robots.txt زیاتر و زیاتر بەکار دەهێنرێت. فایلەکە سەپاندن نییە، بەڵکو ڕێسایەکە کە کراولەرە ڕێکوپێکەکان پابەندی دەبن.

    لە ئامرازەکەدا بنەمای پەڕەکە هەڵدەگرێت: robots.txt داواکارییەکە بۆ کراولەرەکان، نەک قوفڵ.

  2. Giles, C.‎ L.; Sun, Y.; Councill, I.‎ G.‎ (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010)، ل. 1101–1102

    دەرئەنجام زۆربەی کراولەرە بازرگانییەکان بەپێی ڕێساکان ڕەفتاریان کرد، بەڵام زۆرێکیان هەندێک ڕێسای robots.txt یان بەردەوام دەشکاند یان بە هەڵە تێیان دەگەیشتن.

    لە ئامرازەکەدا بۆیە دروستکەرەکە هەر گرووپێک بە جیا و تەنیا بە Allow و Disallow بەبێ نیشانەی جێگرەوە دەنووسێت.

  3. Kim, T.; Bock, K.; Luo, C.‎ و هاوکاران (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، ل. 541–557

    دەرئەنجام لە تاقیکردنەوەی کۆنترۆڵکراودا لەگەڵ 130 بۆتی ناوبراو بە درێژایی 40 ڕۆژ، بۆتەکان کەمتر پابەندی ڕێسا توندترەکان بوون؛ کراولەرەکانی گەڕانی AI زۆرجار هەر داوای robots.txt یان نەکرد.

    لە ئامرازەکەدا سنووری «خوێندنەوەی ڕێساکان، نەک پێوانی ڕەفتار» و تێبینییەکە دەربارەی هێنانی داخراو بە داوای بەکارهێنەر ڕوون دەکاتەوە.

  4. Liu, E.; Luo, E.; Shan, S.‎ و هاوکاران (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025)، ل. 78–99

    دەرئەنجام پێوانەکان و ڕاپرسییەک لەگەڵ 203 هونەرمەند پێویستییەکی گەورە بە robots.txt نیشان دەدەن، بەڵام لە زانیاری و دەستگەیشتن بە ماڵپەڕی خۆیاندا بەربەست هەیە. ڕێگری لەسەر Reverse-Proxy کاریگەرتر پاراستی دەکات، بەڵام کەم بڵاوە.

    لە ئامرازەکەدا بۆیە ئەو پێشنیارەی بۆ ڕێگریی ڕاستەقینە هۆستەر یان Proxy تێوە بگلێنن، و دروستکەرێک کە هیچ زاراوەیەکی پسپۆڕی پێویست ناکات.

  5. Seiden, S.; Ren, T.; Zhang, C.‎ و هاوکاران (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026)، ل. 6998–7012

    دەرئەنجام بە ماڵپەڕی تایبەت ئامادەکراو و 22 سیستەمی AI توانرا دیاری بکرێت کام هێنەر کام مۆدێل دابین دەکات، لە ناویاندا چەندانێک کە خاوەنەکەیان ئاشکرای ناکات.

    لە ئامرازەکەدا ئەو سنوورە هەڵدەگرێت کە خشتەکە تەنیا ئەو کراولەرانە دەناسێت کە خاوەنەکەیان بە ناوی خۆیانەوە بەڵگەنامەی بۆ نووسیون.

  6. Longpre, S.; Mahari, R.; Lee, A.‎ و هاوکاران (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024)، ل. 108042–108087

    دەرئەنجام پشکنینی 14.000 دۆمەین لە پشت داتای ڕاهێنانی AI لە ماوەی یەک ساڵدا زیادبوونێکی بەهێزی ڕێگرییەکانی دۆزییەوە، جیاوازیی گەورە لە نێوان کۆمپانیاکانی AI و ناکۆکیی زۆر لە نێوان مەرجەکانی بەکارهێنان و robots.txt دا.

    لە ئامرازەکەدا بۆیە پشکنینەکە هەر کراولەرێک بە جیا نیشان دەدات، لە جیاتی ئەوەی تەنیا «AI ڕێگەپێدراوە» یان «AI داخراوە» ڕابگەیەنێت.

  7. Baack, S.‎ (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024)، ل. 2199–2208

    دەرئەنجام Common Crawl گەورەترین کۆکراوەی ئازادی داتای وێبە و یەکێکە لە گرنگترین سەرچاوەکان بۆ پێش-ڕاهێنانی مۆدێلە زمانییە گەورەکان، زۆرجار بە بەشێکی گەورە لە کەرەستەی ڕاهێنان.

    لە ئامرازەکەدا بۆیە CCBot لە ژێر ڕاهێنان دایە، و پشکنینەکە ئاگادار دەکاتەوە ئەگەر هەندێک کراولەری ڕاهێنان داخرابن بەڵام CCBot نا.

  8. Dodge, J.; Sap, M.; Marasović, A.‎ و هاوکاران (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021)، ل. 1286–1305

    دەرئەنجام کۆکراوەی ڕاهێنانی C4 تەنیا لە یەک کۆپیی Common Crawl دروست بوو و دەقی لە سەرچاوەی چاوەڕواننەکراوی وەک بەڵگەنامەی داهێنان (Patent) و ماڵپەڕی سەربازیی تێدایە.

    لە ئامرازەکەدا لە دەقەکەدا دەیسەلمێنێت کە کۆکراوەکانی ڕاهێنان لە کۆپیی جێگیرەوە دروست دەبن: ئەوەی جارێک لەوێ بێت، قەدەغەکردنێکی دواتر پێی ناگات.

  9. Aggarwal, P.; Murahari, V.; Rajpurohit, T.‎ و هاوکاران (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)، ل. 5–16

    دەرئەنجام دەکرێت ناوەڕۆک بەو شێوەیە ئامادە بکرێت کە بزوێنەرەکانی گەڕانی AI تا 40 لەسەد دیارتر وەک سەرچاوە بیهێنن؛ ئەوەی کار دەکات بەستراوە بە بواری پسپۆڕی.

    لە ئامرازەکەدا جیاکردنەوەکە هەڵدەگرێت: دەستگەیشتن مەرجە، بەڵام ئایا وەک سەرچاوە دەهێنرێت، ناوەڕۆک بڕیار دەدات. بۆ ئەمە پەڕەکە ئاماژە بە AI-SEO دەکات.

  10. Liu, N.; Zhang, T.; Liang, P.‎ (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023، ل. 7001–7025

    دەرئەنجام لە چوار بزوێنەری گەڕانی AI دا بە تێکڕا تەنیا کەمێک زیاتر لە نیوەی ڕستەکان بە تەواوی بە سەرچاوە پشتگیری کرابوون، و نزیکەی چارەکێکی ئاماژەکان بە سەرچاوە پشتگیریی ڕستەکەیان نەدەکرد.

    لە ئامرازەکەدا ئەو سنوورە هەڵدەگرێت کە دەستگەیشتنی ئازاد بەڵێنی وەرگرتنی دروست نادات: پشکنینەکە خوێندنەوە دەپشکنێت، نەک وەڵامەکە.

  11. Xu, H.; Iqbal, U.; Montgomery, J.‎ M.‎ (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026)، ل. 529–546

    دەرئەنجام لە 55.393 گەڕاندا، لە 13,7 لەسەدی حاڵەتەکاندا پوختەیەکی AI دەرکەوت، بۆ پرسیارەکان لە 64,7 لەسەد. نزیکەی 30 لەسەدی دۆمەینە هێنراوەکان لە ئەنجامەکانی پەڕەی یەکەمدا نەبوون.

    لە ئامرازەکەدا ڕوونی دەکاتەوە بۆچی Googlebot لە پشکنینەکەدایە: پوختەکانی AI سەرچاوە لە ئیندێکسەکەوە هەڵدەبژێرن، بەڵام نەک تەنیا لە یەکەم ئەنجامەکان.

  12. Grossman, R.; Liu, S.; Chen, M.‎ K.‎ و هاوکاران (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)، ل. 448–459

    دەرئەنجام لە 11.500 گەڕاندا سەرچاوەکانی گەڕانی Google، پوختەی AI و Gemini زۆر لە یەک جیاواز بوون. ئەو ماڵپەڕانەی ڕێگەیان لە کراولەری AI ی Google گرتبوو، کەمتر وەک سەرچاوە لە پوختەکانی AI دا بەکار هێنران.

    لە ئامرازەکەدا تێبینییەکە لە کاتی داخستنی Google-Extended ئەم دەرئەنجامە لە تەنیشت قسەکەی Google دادەنێت کە سویچەکە کار لە گەڕان ناکات.

  13. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V.‎ (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56، ل. 29–41

    دەرئەنجام پێوانەیەک لەسەر نزیکەی 4 ملیۆن دۆمەین نیشانی دەدات: robots.txt هێشتا گرنگترین ئامرازە، فایلە تایبەتەکانی AI وەک ai.txt و llms.txt بە زۆری لای کۆمپانیا تەکنیکییەکان دەردەکەون. هەندێک لینک لە فایلەکانی llms.txt دا ڕوو لە پەڕەگەلێک دەکەن کە robots.txt دایخستوون.

    لە ئامرازەکەدا لێرەوە پشکنینی ئەوەی ئایا لینکەکانی llms.txt ڕوو لە پەڕە داخراوەکان دەکەن.

  14. Chang, C.-Y.; He, X.‎ (2025): The liabilities of robots.txt. Computer Law & Security Review 58، وتاری 106176

    دەرئەنجام لەگەڵ AI ی بەرهەمهێنەر، پشتگوێخستنی robots.txt قورستر دەبێت. توێژینەوەکە بۆ وڵاتانی Common Law ئەوە دەسەلمێنێت کە فایلەکە لە هەندێک بارودۆخدا دەکرێت وەک گرێبەستێکی یەکلایەنە یان وەک ئاگادارکردنەوەیەک بە دەرئەنجامی بەرپرسیارێتی کار بکات.

    لە ئامرازەکەدا پشتگیریی ئەو تێبینییە دەکات کە robots.txt زیاتر لە تەکنیکە، بەو سنووردارکردنەی کە دۆخی یاسایی لە ئەڵمانیا دەبێت بە جیا بپشکنرێت.

  15. Ansar, M.; Sperotto, A.; Holz, R.‎ (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science، ل. 197–214

    دەرئەنجام نزیکەی 1,68 لەسەدی ماڵپەڕەکان لە کۆپییەکی Common Crawl دا بە ئاشکرا کراولەرەکەیان ڕەت کردەوە، زۆرجار لە ڕێگەی هۆستەرە گەورەکان و دروستکەرانی ماڵپەڕەوە، لە ڕێگرییەوە تا پەڕەی پشکنین.

    لە ئامرازەکەدا بۆیە تێبینییەکە کاتێک پەڕەی سەرەکی بە پەڕەیەکی پشکنین وەڵام دەداتەوە: پاراستنێکی دژی بۆت بەبێ پەیوەندی بە robots.txt ەوە ڕێگری دەکات.

ستاندارد، دامەزراوە فەرمییەکان و زانیاریی بەرهەمهێنەران

هێشتا پرسیارێکتان ماوە؟

بینینی هەموو 51 ئامرازە بەخۆڕاییەکە

دووشەممە تا هەینی، کاتژمێر 8 تا 17

ئەنجامە کۆپیکراوەکەمان بۆ بنێرن. robots.txt، llms.txt و داتای ڕێکخراو بەو شێوەیە ڕێک دەخەین کە گەڕانەکانی AI پەڕەکانتان بخوێننەوە و ڕاهێنان تەنیا لەو شوێنە ڕوو بدات کە ئێوە دەتانەوێت، لە ڕۆدەڤیش (Rodewisch) و هەموو فۆگتلاند (Vogtland).

+49 3744 4399760[email protected]

دووشەممە تا هەینی، کاتژمێر 8 تا 17 · Straße der Jugend 5, 08228 Rodewisch

ڕێکخستنی دەستگەیشتنی AI بە ئێمە بسپێرن
+49 3744 4399760دووشەممە تا هەینی، کاتژمێر 8 تا 17
تەلەفۆن بکەنتەلەفۆنم بۆ بکەنەوە

لیستی پێکهاتەکان · پەڕەی 1/1

ئەم پەڕەیە لە چی پێک هاتووە

ئەم ژمارانە لە کاتی دروستکردنی ماڵپەڕەکەدا پێوراون. ئەگەر JavaScript کارا بێت، براوزەرەکەتان ڕاستەوخۆ دووبارە دەیانپێوێتەوە.

ژ.پارچەجۆرقەبارە
01index.htmlدۆکیومێنت≈ 29 کیلۆبایت
02styles.cssستایلشیت≈ 20 کیلۆبایت
03scripts.jsسکریپت≈ 13 کیلۆبایت
04archivo-variable.woff2فۆنت≈ 58 کیلۆبایت
05ibm-plex-mono.woff2فۆنت≈ 30 کیلۆبایت
06favicon.svgگرافیککەمتر لە 1 کیلۆبایت

کووکیی ڕیکلام یان شیکاری: هیچ. بەبێ ڕەزامەندیی ئێوە، ئەم ماڵپەڕە هیچ شتێک لە سێرڤەری لایەنی تر بار ناکات، جگە لە Cloudflare کە پەڕەکانمانی پێ دەگەیەنین. فۆنت، سکریپت و گرافیکەکان لای خۆمانن. ITی ئێوەش هەر بەم شێوەیە دادەمەزرێنین.

لە دەرەوەی کاتی کار

لەگەڵ ئەوەشدا بێ دوودڵی تەلەفۆن بکەن

بە شێوەی ئاسایی دووشەممە تا هەینی، کاتژمێر 8 تا 17 لە نووسینگەین.

ئێواران و کۆتایی هەفتەش ژمارەکە بۆ لای خۆمان دەگوازرێتەوە و زۆر جار ئەو کاتەش کەسێک وەڵام دەداتەوە. بەڵام ناتوانین بەڵێنی ئەوە بدەین.

ئەگەر کەس وەڵامی نەدایەوە، پەیامێکی دەنگیی کورت بەجێ بهێڵن: ناو، ژمارە و بابەتەکە. بە زووترین کات تەلەفۆنتان بۆ دەکەینەوە، درەنگترین لە ڕۆژی کاری داهاتوودا.

قسەکردنەکە هیچ پارەیەکی تێناچێت. ئەگەر لە دەرەوەی کاتی کار پێویست بوو کەسێک دەستبەجێ دەست بە کار بکات، ئەو زیادەیەی لە لیستی نرخەکاندا نووسراوە حیساب دەکرێت.

ئێستا تەلەفۆن بکەن+49 3744 4399760

پێتان باشترە بنووسن؟ لە ڕێگەی فۆڕمی پەیوەندی یان بۆ [email protected]. ئەوە لە ڕۆژی کاری داهاتوودا دەیخوێنینەوە.

دەستنیشانکردنی کێشە · AT-K2

بابەتەکە چییە؟

↵ هەڵبژاردنESC داخستنتەلەفۆن: ‎+49 3744 4399760

ڕێکخستنی تایبەت

ڕێگە بە کام خزمەتگوزاری دەدەن بار ببێت؟

لە ڕووی تەکنیکییەوە پێویست

ئەو بڕیارەی لێرە دەیدەن، لەگەڵ ڕێکخستنەکانی ڕەنگ و جووڵە. ئەم زانیارییانە وەک تۆمارێکی بچووک لەسەر ئامێرەکەی خۆتان دەمێننەوە و هەرگیز بۆ هیچ سێرڤەرێک نانێردرێن. بۆ کارکردنی ماڵپەڕەکە پێویستن، بۆیە ناکرێت لاببرێن.