Amûr AT-W29REV. 2026-A
Kontrola crawlerên AI: ChatGPT, Claude û Perplexity destûra xwendina malpera we hene?
Di robots.txt de tê nivîsandin ka alîkarekî AI destûra xwendina malpera we heye: ji bo her crawlerekî komeke cuda, an jî rêgeza giştî „User-agent: *" derbasdar e. Armanc girîng e. GPTBot û ClaudeBot ji bo perwerdekirinê berhev dikin, OAI-SearchBot û Claude-SearchBot ji bo lêgerîna AI, û ChatGPT-User rûpelekê tîne dema kesek di chatê de dipirse. Kontrol rêgezên we ji bo 27 crawleran dixwîne, llms.txt kontrol dike û bloka guncav ji bo we dinivîse.
- belaş
- bê qeydkirin
- 5 deqe di bîra demkî de
01 / ANÎN
Domainê binivîsin, destûra gihîştinê ji bo her crawlerekî bibînin
Anîn · robots.txt, llms.txt û rûpela destpêkê
Kontrol rêgezan wek ku îro li serverê ne dixwîne û li gorî RFC 9309 dinirxîne. Ka crawlerek li gorî wan tevdigere an na, pêşkêşkerê wî biryarê dide.
Bê anînê: nivîsa robots.txt têxinê
Mînak ji bo dosyayeke ku hê li ser înternetê nîne. Nivîs di gerokê de dimîne; rêça li jor derbasdar e.
02 / CRAWLER
Kîjan crawlerên AI hene û ji bo çi dixwînin
Pêşkêşkerên mezin li gorî armancê çend crawleran dişînin, ne tenê yekê. Di sazkirinê de xala herî girîng ev e: yê ku „AI" asteng bike, pirî caran ji lêgerîna AI jî derdikeve û li wir êdî wek çavkanî nayê nîşandan. Ji 2023 ve malper pêşkêşkerên AI her ku diçe zêdetir, lê bi awayên pir cuda asteng dikin; lêkolîneran gelek caran nakokî di navbera mercên bikaranînê û robots.txt de dîtin Longpre û yên din 2024. Ji ber vê yekê kontrol her crawlerekî cuda nîşan dide.
| Cure | Tomar | Ew çi dikin |
|---|---|---|
| Lêgerîna AI | 11 | Îndeksa ku alîkarekî AI an makîneyeke lêgerînê bersivên bi çavkanî jê tîne çêdike. Heke rûpel astengkirî be, li wir kêmtir an qet wek çavkanî xuya nake. |
| Perwerdekirin | 6 | Naveroka ku modelên ziman jê hîn dibin berhev dike. Qedexekirin li perwerdekirinên pêşerojê bandor dike, ne li modelên ku berê hatine perwerdekirin. |
| Mîhenga perwerdekirinê | 2 | Ne crawlerekî serbixwe ye. Rêgez ji pêşkêşker re dibêje ka ew dikare naveroka ku jixwe aniye ji bo perwerdekirinê bi kar bîne an na. |
| Anîn li ser daxwaza bikarhêner | 7 | Rûpelekê tîne ji ber ku kesek wê gavê li ser wê dipirse. Çend pêşkêşker dinivîsin ku robots.txt ji bo vê derbasdar nîne an her dem derbasdar nîne. |
Du tomar hêjayî nêrîneke din in. Common Crawl bi xwe tu modelê perwerde nake, lê arşîva webê ya herî mezin a bi serbestî berdest çêdike, û ew yek ji çavkaniyên herî girîng ji bo perwerdekirina destpêkê ya modelên ziman ên mezin e Baack 2024. Mînak, koma daneyên perwerdekirinê ya naskirî C4 ji tenê yek kopiyeke wiha hat çêkirin Dodge û yên din 2021. Ji ber vê yekê, yê ku perwerdekirinê naxwaze CCBot jî asteng dike; lê tu rêgez tiştê ku berê di kopiyekê de ye venagerîne. Ya duyemîn Googlebot e: ew di lîsteyê de ye ji ber ku kurteyên AI û moda AI ya lêgerîna Google li ser îndeksa wî tên çêkirin. Yê ku dixwaze li Google bê dîtin wî asteng nake.
Hemû 27 crawlerên di lîsteyê de
| Navê di robots.txt de | Pêşkêşker | Armanc | robots.txt bandor dike | Pêşkêşker çi dinivîse |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | Lêgerîna AI | erê, li gorî pêşkêşker | Lêgerîna ChatGPT bi daneyan peyda dike. Yê ku wî asteng bike di bersivên wir de wek çavkanî xuya nake. |
| Claude-SearchBot | Anthropic | Lêgerîna AI | erê, li gorî pêşkêşker | Ji bo lêgerîna Claude dixebite. Heke rûpel astengkirî be, di encamên wir de kêmtir xuya dibe. |
| Googlebot | Lêgerîna AI | erê, li gorî pêşkêşker | Crawlerê lêgerîna Google. Kurteyên AI û moda AI jî vê îndeksê bi kar tînin; li wir bi nosnippet, max-snippet û noindex tê rêvebirin. | |
| PerplexityBot | Perplexity | Lêgerîna AI | erê, li gorî pêşkêşker | Îndeksa ku Perplexity lînkên çavkaniyan jê dide çêdike. Li gorî pêşkêşker, ne ji bo perwerdekirina modelan e. |
| Applebot | Apple | Lêgerîna AI | erê, li gorî pêşkêşker | Crawler ji bo lêgerîna Siri, Spotlight û Safari. Li gorî Apple, dane dikarin ji bo perwerdekirina modelên Apple jî bên bikaranîn; ji bo vê Applebot-Extended heye. |
| meta-webindexer | Meta | Lêgerîna AI | erê, li gorî pêşkêşker | Ji bo lêgerîna Meta AI îndeks çêdike da ku Meta bikaribe naverokê wek çavkanî nîşan bide û lînka wê bide. |
| Amzn-SearchBot | Amazon | Lêgerîna AI | erê, li gorî pêşkêşker | Ji bo fonksiyonên lêgerînê di hilberên Amazon ên wek Alexa de ye; li gorî Amazon, ne ji bo perwerdekirinê ye. |
| bingbot | Microsoft | Lêgerîna AI | erê, li gorî pêşkêşker | Crawlerê Bing. Microsoft nasnameyeke cuda ya AI nabeje; ji Sibata 2027 ve rêgezên perwerdekirinê û bersivên AI ji bo Bingbot in. |
| MistralAI-Index | Mistral | Lêgerîna AI | erê, li gorî pêşkêşker | Tenê ji bo îndeksa lêgerînê rûpelan digere; li gorî Mistral, ne ji bo perwerdekirinê. |
| DuckAssistBot | DuckDuckGo | Lêgerîna AI | erê, li gorî pêşkêşker | Ji bo bersivên AI yên DuckDuckGo rûpelan di heman demê de tîne, bi çavkaniyê re. Li gorî pêşkêşker, ne ji bo perwerdekirinê ye. |
| YouBot | You.com | Lêgerîna AI | erê, li gorî pêşkêşker | Crawlerê makîneya lêgerînê You.com. Li gorî robots.txt, Crawl-delay jî tê de, tevdigere. |
| GPTBot | OpenAI | Perwerdekirin | erê, li gorî pêşkêşker | Naverokê berhev dike ku dikare ji bo perwerdekirina modelên OpenAI bê bikaranîn. Li gorî OpenAI, astengkirin tê wateya: ji bo perwerdekirinê bi kar neynin. |
| ClaudeBot | Anthropic | Perwerdekirin | erê, li gorî pêşkêşker | Naverokê berhev dike ku dikare ji bo perwerdekirina modelên Anthropic bê bikaranîn. Anthropic li gorî robots.txt û Crawl-delay jî tevdigere. |
| meta-externalagent | Meta | Perwerdekirin | erê, li gorî pêşkêşker | Ji bo perwerdekirina modelên AI û hilberên Meta berhev dike. |
| Amazonbot | Amazon | Perwerdekirin | erê, li gorî pêşkêşker | Hilberên Amazon baştir dike; ev dikare perwerdekirina modelên AI yên Amazon jî bigire nav xwe. Crawl-delay li ber çavan nagire. |
| MistralAI-Training | Mistral | Perwerdekirin | erê, li gorî pêşkêşker | Naverokê ji bo daneyên perwerdekirina modelên Mistral berhev dike. |
| CCBot | Common Crawl | Perwerdekirin | erê, li gorî pêşkêşker | Arşîveke webê ya bi serbestî berdest çêdike. Common Crawl bi xwe tiştekî perwerde nake, lê arşîv yek ji çavkaniyên herî girîng ên daneyên perwerdekirinê ye. |
| Google-Extended | Mîhenga perwerdekirinê | erê, li gorî pêşkêşker | Ne crawlerekî serbixwe ye, lê mîhengek e: naveroka ku Google tîne dikare ji bo perwerdekirina modelên Gemini yên pêşerojê û piştgirîkirina bersivên Gemini bi çavkaniyan bê bikaranîn? Li gorî Google, ew li lêgerîna Google bandor nake. | |
| Applebot-Extended | Apple | Mîhenga perwerdekirinê | erê, li gorî pêşkêşker | Ne crawlerekî serbixwe ye. Heke astengkirî be, Apple naverokê ji bo perwerdekirina modelên xwe bi kar nayîne; rûpel di lêgerînê de dimîne. |
| ChatGPT-User | OpenAI | Anîn li ser daxwaza bikarhêner | ne her dem | Rûpelekê tîne dema kesek di ChatGPT de li ser wê dipirse. Li gorî OpenAI, dibe ku rêgezên robots.txt ji bo vê derbasdar nebin. |
| Claude-User | Anthropic | Anîn li ser daxwaza bikarhêner | erê, li gorî pêşkêşker | Rûpelan tîne dema bikarhêner di Claude de pirsekê dike. Anthropic dinivîse ku botên wê li gorî robots.txt tevdigerin. |
| Google-Agent | Anîn li ser daxwaza bikarhêner | ne her dem | Li ser daxwaza bikarhênerekî li webê digere û karan dike. Li gorî Google, anînên li ser daxwaza bikarhêner bi gelemperî robots.txt derbas dikin. | |
| Perplexity-User | Perplexity | Anîn li ser daxwaza bikarhêner | ne her dem | Rûpelan tîne dema bikarhênerek dipirse. Li gorî Perplexity, bi gelemperî robots.txt li ber çavan nagire. |
| meta-externalfetcher | Meta | Anîn li ser daxwaza bikarhêner | ne her dem | Li ser daxwaza bikarhêner lînkên yekane tîne, ji bo ajanên AI jî. Li gorî Meta, dikare robots.txt derbas bike. |
| Amzn-User | Amazon | Anîn li ser daxwaza bikarhêner | ne her dem | Ji bo pirseke bikarhêner, mînak ji Alexa re, daneyên nû tîne. Li gorî Amazon, li gorî hemû rêgezên robots.txt tevnagere. |
| MistralAI-User | Mistral | Anîn li ser daxwaza bikarhêner | erê, li gorî pêşkêşker | Rûpelekê tîne dema bikarhênerek dipirse û lînka wê wek çavkanî dide. Li gorî Mistral, koma robots.txt diyar dike ka kîjan rûpel ji bo vê dikarin bên bikaranîn. |
| Bytespider | ByteDance | ne zelal e | bi belge nehatiye piştrastkirin | Belgeyên pêşkêşker nehatin dîtin. Armanc û awayê bikaranîna robots.txt bi belge nehatine piştrastkirin. |
Nehatine zêdekirin: navên ji lîsteyên botan ku pêşkêşker bi xwe navê wan nabeje (mînak anthropic-ai an cohere-ai). Li gorî belgeyên xwe, Cohere niha tu crawlerê naxebitîne; Microsoft nasnameyeke cuda ya AI nabeje, rêgezên wê yên AI ji bo bingbot in. Rewşa 14ê Mijdara 2026.
03 / ÇÊKER
Perwerdekirinê asteng bikin, destûra lêgerîna AI bidin: bloka guncav
Piraniya şîrketan heman tiştî dixwazin: di bersivên ChatGPT, Claude an Perplexity de wek çavkanî xuya bibin, lê bê destûr materyala perwerdekirinê nedin. Mîhenga destpêkê ya çêkerê li gorî vê ye. Ew her komê cuda û tenê bi Allow û Disallow, bê nîşanên cîgir, dinivîse; ji ber ku crawlerên bazirganî jî hin rêgezan dîsa û dîsa şaş fam dikin Giles û yên din 2010. Hûn blokê li robots.txt ya xwe ya heyî zêde dikin; koma „User-agent: *" wek xwe dimîne.
Çêker · bloka robots.txt
Çêker di gerokê de dixebite û tiştekî naşîne.
Çêker · şablona llms.txt
Di gerokê de dixebite. Dosya bi navê llms.txt di peldanka sereke ya malperê de tê danîn.
Şaşiya herî gelemperî: kom tu rêzikî mîras nagirin
Crawler tam li gorî koma bi navê xwe tevdigere. Heke ew hebe, rêgeza giştî êdî ji bo wî derbasdar nîne, tewra ne bi qismî jî. Di mînaka li rastê de „User-agent: *" beşa /intern/ asteng dike, lê GPTBot komeke xwe ya taybet bi „Allow: /" digire.
Encama ji bo /intern/preise: ClaudeBot astengkirî ye (rêza 2: Disallow: /intern/ (koma *)), lê GPTBot dikare bixwîne (rêza 5: Allow: / (koma GPTBot)). Ji ber vê yekê, tiştê ku divê ji bo hemûyan astengkirî be, divê di her koma bi nav de hebe. Di çêkerê de hûn beşên wiha carekê dinivîsin, ew wan li her derê dubare dike.
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
Sînyala hevpar a perwerdekirinê
Ji 30ê Cotmeha 2026 ve li IETF pêşnûmeyek heye ku divê astengkirina yek bi yek hêsantir bike: koma „User-agent: __usage_ai-training" bi „Disallow: /" ji hemû pêşkêşkerên beşdar re bi hev re dibêje ku hûn perwerdekirinê naxwazin. Rêç wek her carê dixebitin; „Allow: /presse/" peldanka çapemeniyê ji qedexeyê derdixe. Kom ne fermana crawlingê ye û rêgeza giştî „User-agent: *" bi eşkere ji bo vê nayê hesibandin. Ji ber ku pêşnûme nû ye û hê hemû pêşkêşker wê naxwînin, çêker her duyan dinivîse: komên yekane û sînyalê.
| Peydaker | Ji kengî ve |
|---|---|
| Anthropic | ji 30ê Cotmeha 2026 ve; koma bi navê ClaudeBot pêşî tê |
| Microsoft (Bing) | ji 1ê Sibata 2027 ve |
| ji bo 2027 hatiye plankirin; heke koma taybet a Google-Extended tune be, Google wê demê bersiva na wek Google-Extended ya astengkirî dinirxîne | |
| OpenAI | „di mehên pêş me de"; rêgezên GPTBot dimînin |
Çavkanî: draft-kelley-aipref-training-preference-signal-00, ne standard e, di 3ê Gulana 2027 de dema wê diqede. Rewşa 14ê Mijdara 2026.
04 / RÊGEZ
Crawler robots.txt ya we wiha dixwîne
Ji Îlona 2022 ve rêbaz di RFC 9309 de hatiye diyarkirin, û kontrol jî li gorî wê hesab dike. Dosya her dem li /robots.txt di peldanka sereke de ye û tenê ji bo heman hostê derbasdar e: heke ihre-firma.de ber bi www.ihre-firma.de ve bişîne, dosyaya li www derbasdar e. Crawler li koma bi navê xwe digere, tîpên mezin û biçûk ne girîng in; heke tune be, „User-agent: *" digire, û heke ew jî tune be, dikare her tiştî bixwîne. Di komê de rêgeza guncav a herî dirêj pêşî tê; heke dirêjahî wekhev be, Allow pêşî tê. Stêrk cihê her cure nîşanan digire, nîşana dolarê ya li dawiyê jî dawiya navnîşanê nîşan dide.
Lêkolîneke li ser 7.593 malperan di 2007 de nîşan da ku dosya her ku diçe zêdetir tê bikaranîn, û herwiha ew çi ye: rêgezek ku crawlerên bi rêkûpêk li gorî wê tevdigerin, ne rêbazeke bi zorê sepandinê Sun û yên din 2007. Ev neguheriye.
| Bersiv | RFC 9309 | |
|---|---|---|
| 200, dosyaya nivîsê | rêgez derbasdar in, herî kêm 500 KiB tê xwendin | wek hev, her tiştê piştî 500 KiB tê paşguhkirin |
| 200, lê rûpeleke webê ye | tu rêzeke derbasdar tune ye, lewma rêgez tune ne | wek hev |
| 404 û 4xx yên din | robots.txt tune ye, her tişt destûrdar e | her tişt destûrdar e, ji bilî 429 |
| 429 gelek daxwaz | wek 4xx | wek xeletiya serverê |
| 5xx an nayê gihîştin | her tişt astengkirî ye | 12 saetan crawling tune ye, paşê heta 30 rojan guhertoya dawî ya rast |
| Beralîkirin | herî kêm pêncan bişopîne | herî kêm pênc, piştre wek 404 |
Google dosyayê bi gelemperî heta 24 saetan, Amazon heta 30 rojan tomar dike. Ji ber vê yekê guherîn tavilê bandor nakin. Anîna me herî zêde sê beralîkirinan dişopîne. Rewşa 14ê Mijdara 2026.
Agahiyên li ser rûpelan bi xwe
Ji bilî robots.txt, ji bo her rûpelê agahî hene: wek meta-tag di beşa serî de an wek X-Robots-Tag di bersiva serverê de. Kontrol wan li rûpela destpêkê dixwîne. Ji bo AI bi taybetî ev girîng in: noindex rûpelê ji îndeksa lêgerînê û bi vî awayî ji kurteyên AI jî derdixe; nosnippet li Google kurteya nivîsê qedexe dike, di kurteyên AI û moda AI de jî. Amazon noarchive wek „ji bo perwerdekirinê na" dixwîne. Microsoft ji 1ê Sibata 2027 ve agahiyên taybet ji bo perwerdekirinê û piştgirîkirina bersivan bi çavkaniyan tîne (ai-training, ai-grounding), û ji Adara 2027 ve noarchive û nocache êdî wek rêgeza AI naxwîne. Agahiyên wek „noai" belav in, lê tu pêşkêşkerê di lîsteya me de wan di belgeyên xwe de şirove nekiriye.
05 / SÎNOR
Tiştên ku robots.txt nikare bike
- Ew daxwazek e. Di ceribandinên bi 130 botên bi nav di 40 rojan de, bot kêmtir li gorî rêgezên hişk tevgeriyan, û crawlerên lêgerîna AI gelek caran qet li dosyayê nepirsîn Kim û yên din 2025.
- Ew tenê bi navan bandor dike. Bi malperên bi taybetî hatine amadekirin hat piştrastkirin ka kîjan anêr kîjan pergala AI bi daneyan peyda dike, di nav wan de çend hebên ku pêşkêşkerê wan eşkere nake jî hebûn Seiden û yên din 2026. Yê ku bi navekî din tê rastî tu rêgezê nayê.
- Anînên li ser daxwaza bikarhêner carinan derbas dikin. OpenAI, Perplexity, Meta, Amazon û Google bi xwe dinivîsin ku anînên wan ên li ser daxwaza bikarhêner her dem li gorî robots.txt tevnagerin. Anthropic û Mistral vê dosyayê ji bo rêvebirina van anînan jî nîşan didin.
- Astengkirina bi zorê li serverê ye. Hunermendan ji bo robots.txt gelek caran zanîn an destûra gihîştina malpera xwe tune bû; astengkirina li reverse-proxy parastineke bibandortir da Liu û yên din 2025. Ji aliyê din ve, hin pêşkêşkerên hostingê û amûrên çêkirina malperan crawleran asteng dikin bê ku xwedî bizane: di kopiyeke Common Crawl de nêzîkî 1,68 ji sedî malperan crawler bi eşkere red kir Ansar û yên din 2025. Heke rûpela destpêkê ya we bersiva anîna me bi rûpeleke verastkirinê bide, kontrol vê ragihîne.
- Anîna me ne crawlerekî AI ye. Server bi nasnameya xwe tîne. Heke firewall crawleran li gorî navê wan asteng bike, mînak bi mîhengeke li Cloudflare, kontrol vê nabîne.
Û ji aliyê qanûnê ve?
Li gorî § 44b Abs. 3 UrhG, text û data mining li ser berhemên bi serbestî berdest destûrdar e, heya ku xwediyê mafê vê ji xwe re neparastibe; ji bo naveroka li înternetê, tenê parastineke bi forma makîne-xwendinî tê hesibandin. robots.txt makîne-xwendinî ye, lê hê bi dawî nehatiye zelalkirin ka ew wek parastin bes e an na. Xebateke zanista hiqûqê ji bo welatên Common Law delîl tîne ku derbaskirina dosyayê di hin mercan de dikare berpirsiyariya qanûnî çêbike Chang û He 2025; ji bo Almanyayê divê ev cuda bê kontrolkirin. Ji ber vê yekê, yê ku dixwaze mafê redkirinê ragihîne, wê herwiha di Impressum an mercên bikaranînê de dinivîse. Ev ne şêwirmendiya hiqûqî ye.
06 / LLMS.TXT
llms.txt: dosya dikare çi bike û çi nikare bike
Jeremy Howard llms.txt di 3ê Îlona 2024 de pêşniyar kir; şirove li llmstxt.org ye. Ew dosyayeke Markdown li /llms.txt ye: sernavek bi navê malperê, ku tenê beşa mecbûrî ye, paşê danasîneke kurt wek jêgirtin, li gorî xwestinê çend hevok û beşên bi lîsteyên lînkan ên rûpelên herî girîng. Beşa „Optional" tiştên ku alîkar dikare derbas bike dihewîne.
Pîvaneke li ser nêzîkî 4 milyon domainan dosya bi taybetî li şîrketên teknolojiyê dît, û hin lînkên wê diçûn rûpelên ku robots.txt ya wan bi xwe asteng dike Hoffmann û yên din 2026. Kontrol tam vê kontrol dike. Rênîşandana ber bi rûpelên astengkirî ve diçe valahiyê.
Bi rastî: Google di belgeyên xwe yên kurteyên AI de dinivîse ku ji bo vê ne lazim e dosyayên nû yên makîne-xwendinî bên çêkirin, û tu pêşkêşkerê di vê lîsteyê de di belgeyên crawlerê xwe de nanivîse ku ew llms.txt ya malperên din dixwîne. Lewma ew ne rêbazek ji bo zêdekirina xuya bûnê ye. Dîsa jî bikêr e, wek danasîneke kurt û zelal a xwe ku alîkar dikare di anîneke li ser daxwaza bikarhêner de bixwîne, û ji ber ku di deh deqeyan de amade dibe.
Ya me li aureum-tech.com/llms.txt ye. Çêkera li jor şablona ya we çêdike.
07 / XUYA BÛN
Destûra xwendinê nayê wê wateyê ku navê we bê gotin
Kontrol bersiva pirseke pêşîn dide. Ka ChatGPT navê şîrketa we dibêje dema kesek li elektrîkarekî li Plauen dipirse an na, bi naveroka rûpelên we û tiştên ku yên din li ser we dinivîsin ve girêdayî ye. Di ceribandinan de, bi amadekirina naverokê xuya bûna çavkaniyan di bersivên AI de heta 40 ji sedî zêde bû; li gorî qada pisporiyê rêbazên cuda hatin bikaranîn Aggarwal û yên din 2024. Di pîvaneke Google de bi 55.393 daxwazên lêgerînê, di 13,7 ji sedî bûyeran de kurteyeke AI xuya bû, ji bo pirsan di 64,7 ji sedî de; û nêzîkî 30 ji sedî domainên ku li wir wek çavkanî hatin nîşandan di encamên rûpela yekem de nebûn Xu û yên din 2026.
Navê we bê gotin nayê wê wateyê ku bi rastî jêgirtin hatiye kirin. Di çar makîneyên lêgerîna AI de, bi navînî tenê hinek zêdetirî nîvê hevokan bi çavkaniyên nîşankirî hatin piştrastkirin Liu û yên din 2023. Û yê ku crawlerê AI yê Google asteng bike, di kurteyên AI de kêmtir wek çavkanî tê bikaranîn, her çend Google dinivîse ku mîheng li lêgerînê bandor nake Grossman û yên din 2026.
Quick-Check ya SpotLens nîşan dide ku şîrketa we di ChatGPT, Perplexity û AI ya Google de bi rastî çiqas xuya ye. Di AI-SEO de tê şirovekirin ku em çawa naverok û daneyên bi avahiyeke diyarkirî amade dikin da ku lêgerînên AI wan wek çavkanî nîşan bidin. Yê ku dixwaze pêşî bi xwe binêre, di rêberê de dibîne ka mirov çawa xuya bûna di ChatGPT de kontrol dike û xuya bûna di AI de ji bo şîrketan çi ye. Hûn dikarin rêgezên yekane di Testkera robots.txt de biceribînin; amûrên din ji bo ku hûn hêsantir bên dîtin di SEO û xuya bûn de ne.
08 / LÊKOLÎN
Lêkolîn li ser vê çi dibêje
Nirxandina kontrolê li ser 15 xebatên ku ji aliyê pisporan ve hatine nirxandin disekine. Encamên herî girîng û lîsteya tevahî bi nîşana kontrolê li jêr in.
- Astengkirin zêde dibe, lê ne bi heman awayî. Di nav salekê de beşên mezin ên çavkaniyên daneyên perwerdekirina AI hatin astengkirin, li gorî pêşkêşker bi awayên cuda Longpre û yên din 2024. Ji ber vê yekê kontrol crawleran yek bi yek nîşan dide.
- Bot tenê hin rêgezan dişopînin. Rêgez çiqas hişktir bû, bot ewqas kêmtir li gorî wê tevgeriyan Kim û yên din 2025. Ji ber vê yekê kontrol tiştê ku nikare bipîve napîve û vê eşkere dibêje.
- Perwerdekirin bi arşîvan tê kirin. Common Crawl yek ji çavkaniyên herî girîng ên perwerdekirina destpêkê ye Baack 2024, û komên daneyan ên wek C4 ji kopiyên yekane çêdibin Dodge û yên din 2021. Ji ber vê yekê kontrol hişyar dike heke CCBot vekirî bimîne.
- Kurteyên AI çavkaniyên xwe hilbijêrin. Gelek domainên ku wek çavkanî tên nîşandan li rûpela yekem nînin Xu û yên din 2026, û astengkirina crawlerên AI bi kêmbûna nîşandanê re tê dîtin Grossman û yên din 2026.
- llms.txt nû ye û gelek caran nakokî tê de heye. Hin lînkên di dosyayê de diçin rûpelên astengkirî Hoffmann û yên din 2026; kontrol her lînka malpera we kontrol dike.
09 / JI BO ALÎKARÊN AI
Vê amûrê ji alîkarekî AI bi kar bînin
Alîkarên wek Claude an ChatGPT, ku Model Context Protocol (MCP) bi kar tînin, dikarin hesabê vê rûpelê rasterast bang bikin, li şûna ku wî ji nû ve çêkin. Server giştî ye, qeydkirinê naxwaze û tiştekî tomar nake. Bersiv her tim lînka vê rûpelê, dîroka daneyan û sînorên encamê dihewîne.
- Xala girêdanê (endpoint)
https://aureum-tech.com/mcp- Amûr
werkzeug_ki_crawler_check- Transport
- Streamable HTTP, tenê xwendin
| Nav | Mecbûrî | Wate |
|---|---|---|
domain | na | Domaina malperê, mînak ihre-firma.de an https://www.ihre-firma.de. Rêç tê paşguhkirin, robots.txt her dem di peldanka bingehîn de ye. Tenê malperên giştî, port 80 an 443. |
robots_txt | na | Li şûna domainê: nivîsa robots.txt, ku bê anînê tê nirxandin. Bi domain re bi hev re nenivîsin. |
pfad | na | Rêça ku tê kontrolkirin, mînak /blog/artikel. Heke vala be, rûpela destpêkê „/". |
Pirsên ku divê alîkarek ji bo wan vê amûrê bang bike
- „ChatGPT dikare malpera min handwerk-muster.de bixwîne?"
- „robots.txt ya me bi şaşî lêgerîna AI ya Perplexity û ChatGPT asteng dike?"
- „Ez çawa perwerdekirina AI qedexe bikim lê di lêgerîna ChatGPT û Claude de xuya bimînim?"
- „www.beispiel-praxis.de llms.txt heye, û lînkên wê diçin rûpelên astengkirî?"
Girêdan çawa dixebite û MCP di şîrketa we de çi dikare bike, li ser rûpela Entegrasyonên MCP heye.
10 / PIRSÊN PIR TÊN KIRIN
Pirsên pir tên kirin li ser crawlerên AI, robots.txt û llms.txt
Ez çawa perwerdekirina AI asteng bikim bê ku ji lêgerîna ChatGPT derkevim?
OpenAI her duyan ji hev cuda dike: GPTBot ji bo perwerdekirinê berhev dike, OAI-SearchBot ji bo lêgerîna di ChatGPT de, û her mîheng bi serê xwe bandor dike. Ji ber vê yekê, di robots.txt de ji bo GPTBot „Disallow: /" û ji bo OAI-SearchBot „Allow: /" tê nivîsandin. Li Anthropic jî heman tişt ji bo ClaudeBot û Claude-SearchBot derbasdar e; li Google hûn Google-Extended asteng dikin û dest nadin Googlebot. Çêkera li ser vê rûpelê tevahiya blokê ji bo hemû pêşkêşkerên di lîsteyê de dinivîse.
Cudahî di navbera GPTBot, OAI-SearchBot û ChatGPT-User de çi ye?
GPTBot naverokê berhev dike ku dikare ji bo perwerdekirina modelên pêşerojê bê bikaranîn. OAI-SearchBot îndeksa ku ChatGPT di lêgerînê de çavkaniyan jê nîşan dide çêdike; li gorî OpenAI, malpera ku wî asteng bike di bersivên wir de xuya nake. ChatGPT-User rûpelekê tîne ji ber ku kesek di chatê de wê gavê li ser wê dipirse. Li gorî OpenAI, dibe ku rêgezên robots.txt ji bo vê anînê derbasdar nebin.
Ger ez Google-Extended asteng bikim, malpera min ji Google derdikeve?
Na. Google-Extended ne crawlerekî serbixwe ye; ew mîhengek e ku diyar dike ka Google dikare naveroka anî ji bo perwerdekirina Gemini û piştgirîkirina bersivên Gemini bi çavkaniyan bi kar bîne. Li gorî Google, ew ne li ketina lêgerînê ne jî li rêzê bandor dike. Kurteyên AI yên lêgerîna Google bi Googlebot û rêgezên snippet ên wek nosnippet ve girêdayî ne. Lê pîvaneke sala 2026 dît ku rûpelên ku crawlerê AI yê Google asteng dikin di kurteyên AI de kêmtir wek çavkanî tên bikaranîn.
Pêdiviya min bi llms.txt heye?
Ne mecbûrî ye. llms.txt pêşniyareke Jeremy Howard ji Îlona 2024 e: dosyayeke Markdown bi sernav, danasîna kurt û lînkên rûpelên herî girîng. Google bi eşkere dinivîse ku ji bo kurteyên AI dosyayên nû yên makîne-xwendinî ne lazim in, û tu pêşkêşkerê di vê lîsteyê de di belgeyên crawlerê xwe de nanivîse ku ew wê dixwîne. Ziyanê nade û zû tê çêkirin; çêker şablona wê dide. Girîngtir ew e ku lînkên wê neçin rûpelên astengkirî.
Her crawler li gorî robots.txt tevdigere?
Na. robots.txt daxwazek e, ne kilîtek e. Pîvan nîşan didin ku bot kêmtir li gorî rêgezên hişktir tevdigerin û crawlerên lêgerîna AI gelek caran qet li dosyayê napirsin. Li gorî pêşkêşkerên wan, anîna rûpelan li ser daxwaza bikarhêner bi ChatGPT-User, Perplexity-User an meta-externalfetcher carinan robots.txt derbas dike; yê ku bê nav berhev dike jî di tu rêgezê de xuya nake. Yê ku bi rastî dixwaze asteng bike, pêdiviya wî bi astengkirinê li serverê an li pêşkêşkerê hostingê heye.
Astengkirin ji bo modelên ku berê hatine perwerdekirin jî derbasdar e?
Na. OpenAI û Anthropic astengkirinê wek agahiyek ji bo perwerdekirina pêşerojê şirove dikin. Daneyên perwerdekirinê ji kopiyên webê yên demeke diyarkirî tên çêkirin, mînak ji arşîva Common Crawl; tiştê ku berê li wir heye, di wê de dimîne. Ji ber vê yekê, heke hûn perwerdekirinê naxwazin, baş e ku hûn CCBot jî li ber çavan bigirin.
„User-agent: __usage_ai-training" tê çi wateyê?
Ev sînyala hevpar a perwerdekirinê li gorî pêşnûmeyeke IETF ya 30ê Cotmeha 2026 ye. Komek bi vî navî û „Disallow: /" ji hemû pêşkêşkerên beşdar re bi hev re dibêje ku hûn perwerdekirinê naxwazin. Li gorî gotina xwe, Anthropic berê vê li ber çavan digire; Microsoft ji 1ê Sibata 2027 ve, Google ji bo 2027 û OpenAI ji bo mehên pêş me plan dikin. Ev ne fermana crawlingê ye û koma „User-agent: *" bi eşkere ji bo vê nayê hesibandin.
Sînorê kontrola crawlerên AI li ku ye?
Ew rêgezên robots.txt ya we, llms.txt û agahiyên Robots ên rûpela destpêkê dixwîne û ji bo her crawlerekî dibêje ka çi destûrdar e. Ew napîve ka crawler li gorî wan tevdigere an na, an ka alîkarekî AI şîrketa we nas dike û pêşniyar dike an na. SpotLens-Quick-Check vê nîşan dide; di beşa AI-SEO de tê şirovekirin ku naverok divê çawa bê amadekirin da ku lêgerînên AI wê wek çavkanî nîşan bidin. Heke hûn bixwazin, em dosyayan ji bo we saz dikin.
11 / LÊKOLÎN Û ÇAVKANÎ
Amûr li ser çi disekine
Nirxên rêberiyê û şîretên li jor li ser van 15 xebatên zanistî disekinin. Her yek bi DOI an rûpela weşanxaneyê hatiye kontrolkirin (cara dawî di 14ê Mijdara 2026 de): ew heye, nehatiye vekişandin, û encama wê îro jî ji bo vê pirsê derbas dibe.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), r. 1123–1124
Encama lêkolînê Pênc lêkolînên li ser 7.593 malperan nîşan didin ku robots.txt her ku diçe zêdetir tê bikaranîn. Dosya ne rêbazeke bi zorê sepandinê ye, lê rêgezek e ku crawlerên bi rêkûpêk li gorî wê tevdigerin.
Di amûrê de Bingehê rûpelê diyar dike: robots.txt daxwazek ji crawleran re ye, ne kilîtek e.
doi.org/10.1145/1242572.1242726 · Gotara konferansê
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), r. 1101–1102
Encama lêkolînê Piraniya crawlerên bazirganî li gorî rêgezan tevgeriyan, lê gelek ji wan hin rêgezên robots.txt dîsa û dîsa binpê kirin an şaş fam kirin.
Di amûrê de Ji ber vê yekê çêker her komê cuda û tenê bi Allow û Disallow, bê nîşanên cîgir, dinivîse.
doi.org/10.1145/1772690.1772824 · Gotara konferansê
Kim, T.; Bock, K.; Luo, C. û yên din (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), r. 541–557
Dîtin Di ceribandinên kontrolkirî de bi 130 botên bi nav di 40 rojan de, bot kêm caran li gorî rêgezên hişttir tevgeriyan; crawlerên lêgerîna AI gelek caran robots.txt qet nepirsîn.
Di amûrê de Sînorê «rêzikan dixwîne, tevgerê napîve» û agahiya derbarê daxwazên bikarhêner ên hatine astengkirin de rave dike.
doi.org/10.1145/3730567.3764471 · Gotara konferansê
Liu, E.; Luo, E.; Shan, S. û yên din (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), r. 78–99
Dîtin Pîvan û anketek bi 203 hunermendan re pêdiviya mezin a robots.txt nîşan dide, lê di zanîn û gihîştina malpera xwe de asteng hene. Astengkirina li reverse-proxy zêdetir diparêze, lê kêm belav e.
Di amûrê de Ji ber vê yekê pêşniyar dike ku ji bo astengkirineke qewî hoster an proxy têxe nav karê, û çêkerê ku termekî pisporî nepêwîst dike.
doi.org/10.1145/3730567.3732913 · Gotara konferansê
Seiden, S.; Ren, T.; Zhang, C. û yên din (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026), r. 6998–7012
Dîtin Bi malperên bi taybetî amadekirî û 22 sîstemên AI, hate diyarkirin ku kîjan daxwazker kîjan modelê peyda dike, di nav wan de çend yekên ku xwediyê wan eşkere nakin.
Di amûrê de Sînorê piştgirî dike ku tablo tenê crawlerên ku xwediyê wan bi navê xwe belge dikin nas dike.
doi.org/10.1145/3830454.3846799 · Gotara konferansê
Longpre, S.; Mahari, R.; Lee, A. û yên din (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), r. 108042–108087
Dîtin Kontroleke 14.000 domainên di nav daneyên perwerdehiya AI de, di nav salekê de zêdebûneke mezin a astengkirinan, cûdahiyên mezin di nav peydakêrên AI de û gelek nakokî di nav şertên bikaranînê û robots.txt de dît.
Di amûrê de Ji ber vê yekê kontrol her crawlerekî bi tenê nîşan dide, ne ku tenê rapor bike «AI destûr heye» an «AI hatiye astengkirin».
doi.org/10.52202/079017-3431 · Gotara konferansê
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024), r. 2199–2208
Dîtin Common Crawl berhevoka herî mezin a daneyên webê ya bi belaş e û yek ji çavkaniyên herî girîng ji bo perwerdehiya pêşîn a modelên mezin ên zimanê ye, pir caran bi para mezin di materyala perwerdehiyê de.
Di amûrê de Ji ber vê yekê CCBot di bin Perwerdehiyê de ye, û check hişyar dike heke crawlerên perwerdehiyê yên takekesî hatine astengkirin, lê CCBot nehatibe astengkirin.
doi.org/10.1145/3630106.3659033 · Gotara konferansê
Dodge, J.; Sap, M.; Marasović, A. û yên din (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), r. 1286–1305
Dîtin Korpusa perwerdehiyê C4 ji yek derxistina Common Crawl çêbûye û nivîsên ji çavkaniyên nexwestî wek belgeyên patentê û rûpelên leşkerî dihewîne.
Di amûrê de Di nivîsê de belge dike ku korpusên perwerdehiyê ji derxistinên sabît çêdibin: tiştê ku carekê li wir e, qedexeyeke paşê nagihîne.
doi.org/10.18653/v1/2021.emnlp-main.98 · Gotara konferansê
Aggarwal, P.; Murahari, V.; Rajpurohit, T. û yên din (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), r. 5–16
Dîtin Naverok dikare bi awayekî were amadekirin ku makîneyên lêgerîna AI heta 40 ji sedî zêdetir wek çavkanî behs bikin; tiştê ku kar dike bi qada pisporiyê ve girêdayî ye.
Di amûrê de Sînorê diyar dike: gihîştin şert e, lê naverok biryar dide ka tê behskirin an na. Ji bo vê yekê rûpel referansê bi AI-SEO re dide.
doi.org/10.1145/3637528.3671900 · Gotara konferansê
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, r. 7001–7025
Dîtin Di çar makîneyên lêgerîna AI de, bi navînî tenê zêdetirî nîvê hevokan bi temamî bi çavkaniyan hatin piştgirîkirin, û derdora çaryek ji referansên çavkaniyan hevok piştgirî nekirin.
Di amûrê de Sînorê piştgirî dike ku gihîştina azad qewimîna referanseke rast nade: check xwendinê kontrol dike, ne bersivê.
doi.org/10.18653/v1/2023.findings-emnlp.467 · Gotara konferansê
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026), r. 529–546
Dîtin Di 55.393 lêgerînan de, di 13,7 ji sedî rewşan de kurteya AI xuya bû, li pirsan jî di 64,7 ji sedî de. Nêzîkî 30 ji sedî domainên wek çavkanî hatine behskirin di encamên rûpela yekem de tunebûn.
Di amûrê de Rave dike ka çima Googlebot di kontrolê de ye: kurteyên AI çavkaniyan ji indeksê hildibijêrin, lê ne tenê ji encamên pêşîn.
doi.org/10.1145/3777912.3839818 · Gotara konferansê
Grossman, R.; Liu, S.; Chen, M. K. û yên din (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), r. 448–459
Dîtin Di 11.500 lêgerînan de, çavkaniyên Lêgerîna Google, kurteya AI û Gemini gelek ji hev cuda bûn. Malperên ku crawlerên AI yên Google asteng dikin, kêm caran wek çavkanî di kurteyên AI de hatin bikaranîn.
Di amûrê de Agahiya li ser Google-Extended-a astengkirî vê dîtinê li kêleka daxuyaniya Google datîne ku ev mîheng bandorê li lêgerînê nake.
doi.org/10.1145/3805712.3809667 · Gotara konferansê
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, r. 29–41
Dîtin Pîvanek li ser nêzîkî 4 mîlyon domainan nîşan dide: robots.txt hîn jî serişteya herî girîng e; dosyayên taybet ên AI wek ai.txt û llms.txt bi taybetî li şîrketên teknîkî hene. Hin girêdanên di dosyayên llms.txt de ber bi rûpelên ku robots.txt asteng dike diçin.
Di amûrê de Ji vê yekê kontrol dike ka girêdanên llms.txt ber bi rûpelên astengkirî diçin.
doi.org/10.1145/3831956.3831960 · Kovara zanistî
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, Artikel 106176
Dîtin Bi AI-ya çêker, derbasbûna robots.txt girantir dibe. Xebat ji bo welatên Common Law rave dike ku dosya di hin mercan de dikare wek peymaneke yek-alî an hişyariyek bi encamên berpirsiyariyê kar bike.
Di amûrê de Agahiya ku robots.txt ji teknîkê zêdetir e piştgirî dike, bi şertê ku rewşa qanûnî li Almanyayê bi taybetî were kontrolkirin.
doi.org/10.1016/j.clsr.2025.106176 · Kovara zanistî
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, r. 197–214
Dîtin Nêzîkî 1,68 ji sedî malperên di derxistineke Common Crawl de crawler bi eşkere red kirin, pir caran ji aliyê hosterên mezin û peydakêrên malperên amade ve, ji astengkirinê heta rûpela kontrolê.
Di amûrê de Ji ber vê yekê agahî dide heke rûpela destpêkê bi rûpeleke kontrolê bersiv dide: parastina botan ji robots.txt serbixwe asteng dike.
doi.org/10.1007/978-3-031-85960-1_9 · Gotara konferansê
Standard, sazî û agahiyên hilberîneran
- RFC 9309: Protokola Derxistina Robotan · IETF, Îlona 2022
- Google çawa spesîfikasyona robots.txt şîrove dike (kodên rewşê, 500 KiB, cache) · Google Search Central
- Nêrîna giştî ya crawlerên OpenAI · OpenAI
- Ma Anthropic dane ji webê dikole, û xwediyên malperê çawa dikarin crawler asteng bikin? · Anthropic
- Crawlerên hevpar ên Google (Google-Extended) · Google Search Central
- Daxwazkerên Google ên ku bikarhêner dest pê dike (Google-Agent) · Google Search Central
- Taybetmendiyên AI û malpera we · Google Search Central
- Crawlerên Perplexity · Perplexity
- Derbarê Applebot de · Apple, rewş 4ê Îlona 2026
- Crawlerên webê yên Meta · Meta
- Amazonbot, Amzn-SearchBot, Amzn-User · Amazon, rewş 26ê Cotmeha 2026
- Naveroka we, hilbijartina we: tercîhên zelaltir ji bo perwerdehî û grounding · Microsoft Bing, 30ê Cotmeha 2026
- Crawlerên Mistral AI · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- Crawlerên webê yên Cohere (niha crawler tune ye) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · Pêşnûmeya IETF, 30ê Cotmeha 2026
- Rêyeke nû ji bo kontrolkirina perwerdehiya AI (sînyala perwerdehiyê) · Google Search Central Blog, 30ê Cotmeha 2026
- Hêsantir kirina ragihandina tercîhên perwerdehiya AI ji bo malperan · OpenAI, 30ê Cotmeha 2026
- Dosyaya /llms.txt · llmstxt.org, pêşniyara 3ê Îlona 2024
- § 44b UrhG Text û Data Mining · gesetze-im-internet.de
12 / AMÛRÊN DIN
Hê pirsek we heye?
- AT-W2 · Mal û şîrket
Kontrola Windows 10
Ev komputer hê update-yên ewlehiyê distîne, û heta Cotmeha 2027 divê çi bê kirin? - AT-W3 · Mal û şîrket
Plankera Wi-Fi
Ji bo mala we, ofîsa we an salona we çend access point an xalên mesh lazim in? - AT-W4 · Şîrket
Kontrola awarteya IT
Piştî ku tiştek ji kar dikeve, şîrketa we çiqas zû dikare dîsa bixebite? - AT-W5 · Şîrket
Kontrola e-mailê
E-mailên we dikevin spamê? SPF, DKIM û DMARC ya domaina we bi zimanekî zelal. - AT-W6 · Şîrket
Hesabkera UPS (USV)
Dema elektrîk qut dibe, kîjan UPS (USV) server, router û kasê têra xwe dirêj dixebitîne? - AT-W8 · Şîrket
Nîşanderê XRechnung
We XRechnung wek dosyaya XML stendiye? Li vir ew tê xwendin, bêyî ku dosya ji komputera we derkeve.
Encama kopîkirî ji me re bişînin. Em robots.txt, llms.txt û daneyên bi avahiyeke diyarkirî saz dikin da ku lêgerînên AI rûpelên we bixwînin û perwerdehî tenê li cihê ku hûn dixwazin pêk were, li Rodewisch û tevahiya Vogtlandê.
+49 3744 4399760[email protected]Duşem–În, saet 8–17 · Straße der Jugend 5, 08228 Rodewisch