Nástroj AT-W29REV. 2026-A

Kontrola AI crawlerů: Smějí ChatGPT, Claude a Perplexity číst váš web?

Zda AI asistent smí číst váš web, určuje robots.txt: pro každý crawler vlastní skupina, jinak platí společné pravidlo „User-agent: *“. Rozhoduje účel. GPTBot a ClaudeBot sbírají pro trénování, OAI-SearchBot a Claude-SearchBot pro AI vyhledávání a ChatGPT-User načte stránku, když se na ni někdo v chatu ptá. Kontrola načte vaše pravidla pro 27 crawlerů, ověří llms.txt a vytvoří vám odpovídající blok.

  • zdarma
  • bez registrace
  • 5 minut v mezipaměti

Zadejte doménu, přečtěte přístup pro každý crawler

Načtení · robots.txt, llms.txt a úvodní stránka

Kontrola načte pravidla tak, jak dnes jsou na serveru, a vyhodnotí je podle RFC 9309. Zda je crawler dodrží, rozhoduje jeho provozovatel.

Například ihre-firma.de. Pokud úvodní stránka přesměrovává na www., kontrola jej ověří tam.

Bez údaje úvodní stránka. S /blog nebo /leistungen uvidíte, zda je otevřen právě tento oddíl.

Doména se odešle na náš server, který načte robots.txt, llms.txt a začátek úvodní stránky. Doména ani výsledek se nezaznamenávají do protokolu. Pro další kontroly zůstávají v operační paměti nejdéle pět minut.

Bez načtení: vložte text robots.txt

Například pro soubor, který ještě není online. Text zůstává v prohlížeči; platí cesta uvedená výše.

Výsledek

Zadejte výše doménu. Načtení trvá několik sekund.

Jaké AI crawlery existují a proč čtou

Velcí poskytovatelé neposílají jeden crawler, ale několik podle účelu. To je při nastavení nejdůležitější: kdo zablokuje „AI“, obvykle také zmizí z AI vyhledávání a nebude tam uváděn jako zdroj. Od roku 2023 weby stále častěji blokují poskytovatele AI, a to velmi rozdílně; výzkumníci přitom mezi podmínkami používání a robots.txt často našli rozpory Longpre et al. 2024. Kontrola proto ukazuje každý crawler zvlášť.

TRÉNOVÁNÍ, NAPŘ. GPTBOT, CLAUDEBOT, CCBOTVÁŠ WEBROBOTS.TXTCRAWLER SBÍRÁBUDOUCÍMODELAI VYHLEDÁVÁNÍ, NAPŘ. OAI-SEARCHBOT, PERPLEXITYBOTVÁŠ WEBROBOTS.TXTVYHLEDÁVACÍ INDEXODPOVĚĎ SEZDROJVYŽÁDÁNÍ UŽIVATELEM, NAPŘ. CHATGPT-USEROTÁZKA V CHATUNAČTENÍ STRÁNKYVÁŠ WEBTRÉNOVÁNÍ, NAPŘ. GPTBOT,CLAUDEBOT, CCBOTVÁŠ WEBROBOTS.TXTCRAWLER SBÍRÁBUDOUCÍ MODELAI VYHLEDÁVÁNÍ, NAPŘ. OAI-SEARCHBOT,PERPLEXITYBOTVÁŠ WEBROBOTS.TXTVYHLEDÁVACÍ INDEXODPOVĚĎ SE ZDROJEMVYŽÁDÁNÍ UŽIVATELEM, NAPŘ. CHATGPT-USEROTÁZKA V CHATUNAČTENÍ STRÁNKYVÁŠ WEB
OBR. 1 · TŘI CESTY, JIMIŽ AI ČTE VÁŠ WEBZLATÁ = VAŠE PRAVIDLO V ROBOTS.TXT · PŘERUŠOVANĚ = PRAVIDLO NEPLATÍ VŽDY
Čtyři druhy podle údajů provozovatelů
DruhPoložkyCo dělají
AI vyhledávání11Buduje index, z něhož AI asistent nebo vyhledávač získává odpovědi se zdroji. Po zablokování se stránka objevuje jako zdroj méně často nebo vůbec.
Trénování6Sbírá obsah, z něhož se jazykové modely učí. Zákaz platí pro budoucí trénování, ne pro již natrénované modely.
Přepínač pro trénování2Není vlastní crawler. Pravidlo provozovateli říká, zda smí již získaný obsah používat pro trénování.
Vyžádání uživatelem7Načte jednu stránku, protože se na ni člověk právě ptá. Několik provozovatelů píše, že robots.txt pro to neplatí nebo neplatí vždy.

Dvě položky si zaslouží bližší pohled. Common Crawl sám netrénuje žádný model, ale vytváří největší volně dostupný archiv webu, který patří k nejdůležitějším zdrojům předtrénování velkých jazykových modelů Baack 2024. Známý trénovací korpus C4 například vznikl z jediného takového výřezu Dodge et al. 2021. Kdo odmítá trénování, blokuje proto také CCBot; pravidlo však nevrátí nic, co již ve výřezu je. Druhý je Googlebot: je v seznamu, protože na jeho indexu stojí AI přehledy a AI režim vyhledávání Google. Kdo chce být na Googlu dohledatelný, ten jej neblokuje.

Všech 27 zahrnutých crawlerů

Seznam crawlerů, ověřeno 14. listopadu 2026 v dokumentaci příslušného provozovatele
Název v robots.txtProvozovatelÚčelrobots.txt platíCo uvádí provozovatel
OAI-SearchBotOpenAIAI vyhledáváníano, podle provozovateleZajišťuje vyhledávání v ChatGPT. Kdo jej zablokuje, neobjeví se tam v odpovědích jako zdroj.
Claude-SearchBotAnthropicAI vyhledáváníano, podle provozovatelePodporuje vyhledávání v Claude. Po zablokování se stránka objevuje ve výsledcích méně často.
GooglebotGoogleAI vyhledáváníano, podle provozovateleCrawler vyhledávání Google. Tento index používají i AI přehledy a AI režim; ovládají se pomocí nosnippet, max-snippet a noindex.
PerplexityBotPerplexityAI vyhledáváníano, podle provozovateleBuduje index, z něhož Perplexity odkazuje na zdroje. Podle provozovatele neslouží k trénování modelů.
ApplebotAppleAI vyhledáváníano, podle provozovateleCrawler pro vyhledávání v Siri, Spotlight a Safari. Data mohou podle Applu vstoupit i do trénování modelů Applu; k tomu slouží Applebot-Extended.
meta-webindexerMetaAI vyhledáváníano, podle provozovateleIndexuje pro vyhledávání v Meta AI, aby Meta mohla obsah citovat a odkazovat na něj.
Amzn-SearchBotAmazonAI vyhledáváníano, podle provozovatelePro vyhledávací funkce v produktech Amazonu, například Alexa, podle Amazonu ne pro trénování.
bingbotMicrosoftAI vyhledáváníano, podle provozovateleCrawler Bingu. Microsoft neuvádí vlastní AI označení; pravidla pro trénování a AI odpovědi budou od února 2027 směřovat na Bingbot.
MistralAI-IndexMistralAI vyhledáváníano, podle provozovateleCrawluje pouze pro vyhledávací index, podle Mistralu ne pro trénování.
DuckAssistBotDuckDuckGoAI vyhledáváníano, podle provozovateleNačítá stránky v reálném čase pro AI odpovědi DuckDuckGo s uvedením zdroje. Podle provozovatele ne pro trénování.
YouBotYou.comAI vyhledáváníano, podle provozovateleCrawler vyhledávače You.com. Dodržuje robots.txt včetně Crawl-delay.
GPTBotOpenAITrénováníano, podle provozovateleSbírá obsah, který může vstoupit do trénování modelů OpenAI. Zablokování podle OpenAI znamená: nepoužívat pro trénování.
ClaudeBotAnthropicTrénováníano, podle provozovateleSbírá obsah, který může vstoupit do trénování modelů Anthropicu. Anthropic dodržuje robots.txt i Crawl-delay.
meta-externalagentMetaTrénováníano, podle provozovateleSbírá pro trénování AI modelů a produkty Mety.
AmazonbotAmazonTrénováníano, podle provozovateleZlepšuje produkty Amazonu, což může zahrnovat trénování AI modelů Amazonu. Crawl-delay nedodržuje.
MistralAI-TrainingMistralTrénováníano, podle provozovateleSbírá obsah pro trénovací data modelů Mistral.
CCBotCommon CrawlTrénováníano, podle provozovateleVytváří veřejně přístupný archiv webu. Common Crawl sám nic netrénuje, ale archiv je jedním z nejdůležitějších zdrojů trénovacích dat.
Google-ExtendedGooglePřepínač pro trénováníano, podle provozovateleNení vlastní crawler, ale přepínač: smí Google používat již načtený obsah pro trénování budoucích modelů Gemini a podložení odpovědí Gemini? Podle Googlu neovlivňuje vyhledávání Google.
Applebot-ExtendedApplePřepínač pro trénováníano, podle provozovateleNení vlastní crawler. Pokud je zablokován, Apple obsah nepoužívá k trénování svých modelů; stránka ve vyhledávání zůstává.
ChatGPT-UserOpenAIVyžádání uživatelemne vždyNačte stránku, když se na ni někdo v ChatGPT ptá. Podle OpenAI pro to pravidla robots.txt možná neplatí.
Claude-UserAnthropicVyžádání uživatelemano, podle provozovateleNačítá stránky, když uživatelé položí otázku v Claude. Anthropic uvádí, že jeho boti robots.txt dodržují.
Google-AgentGoogleVyžádání uživatelemne vždyProchází web jménem uživatele a provádí akce. Vyžádání uživatelů robots.txt podle Googlu zpravidla obchází.
Perplexity-UserPerplexityVyžádání uživatelemne vždyNačte stránky, když se uživatel ptá. Podle Perplexity robots.txt zpravidla ignoruje.
meta-externalfetcherMetaVyžádání uživatelemne vždyNačte jednotlivé odkazy na přání uživatele, také pro AI agenty. Podle Mety může robots.txt obejít.
Amzn-UserAmazonVyžádání uživatelemne vždyNačítá aktuální data pro dotaz uživatele, například pro Alexu. Podle Amazonu nedodržuje všechna pravidla robots.txt.
MistralAI-UserMistralVyžádání uživatelemano, podle provozovateleNačte stránku, když se uživatel ptá, a odkáže na ni jako na zdroj. Skupina robots.txt podle Mistralu určuje, které stránky pro to připadají v úvahu.
BytespiderByteDancenejasnénedoloženoNebyla nalezena dokumentace provozovatele. Účel ani zacházení s robots.txt nejsou doloženy.

Nezahrnuto: názvy z adresářů botů, které sám provozovatel neuvádí (například anthropic-ai nebo cohere-ai). Cohere podle vlastní dokumentace momentálně crawler neprovozuje; Microsoft neuvádí vlastní AI označení, jeho pravidla pro AI směřují na bingbot. Stav 14. listopadu 2026.

Zakázat trénování, povolit AI vyhledávání: odpovídající blok

Většina firem chce totéž: objevovat se jako zdroj v odpovědích ChatGPT, Claude nebo Perplexity, ale nedodávat bez vyžádání trénovací materiál. Generátor je na to přednastaven. Vytváří každou skupinu zvlášť a používá jen Allow a Disallow bez zástupných znaků, protože i komerční crawlery některá pravidla stále opakovaně nechápou Giles et al. 2010. Blok vložte do své stávající robots.txt; skupina „User-agent: *“ zůstane beze změny.

Generátor · blok robots.txt

Smějí poskytovatelé AI používat váš obsah pro trénování?

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, MistralAI-Training, CCBot, Bytespider

Smějí AI vyhledávací služby číst vaše stránky a uvádět je jako zdroj?

OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer, Amzn-SearchBot, MistralAI-Index, DuckAssistBot, YouBot

Smějí asistenti načíst stránku, když se na ni někdo ptá?

ChatGPT-User, Claude-User, Google-Agent, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User

Sem patří vše, co je ve vaší robots.txt pod „User-agent: *“ zablokováno. Pojmenovaní crawlery to nedědí.

# KI-Crawler, erstellt mit dem KI-Crawler-Check von aureum-tech.com (Crawler-Liste Stand 14. November 2026)
# Training: gesperrt · KI-Suche: erlaubt · Nutzerabrufe: erlaubt
# Jeder Crawler befolgt nur die Gruppe mit seinem Namen. Was für alle gesperrt sein soll, steht deshalb in jeder Gruppe.

# Training (Schalter wie Google-Extended crawlen nicht selbst, sie regeln nur die Nutzung)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: MistralAI-Training
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

# KI-Suche: liefert Antworten mit Quellenangabe
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: meta-webindexer
Allow: /

User-agent: Amzn-SearchBot
Allow: /

User-agent: MistralAI-Index
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: YouBot
Allow: /

# Nutzerabrufe: laut mehreren Betreibern nicht immer an robots.txt gebunden
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Google-Agent
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: meta-externalfetcher
Allow: /

User-agent: Amzn-User
Allow: /

User-agent: MistralAI-User
Allow: /

# Gemeinsames Trainingssignal (IETF-Entwurf vom 30.10.2026, mehrere Anbieter haben es angekündigt)
User-agent: __usage_ai-training
Disallow: /

Generátor běží v prohlížeči a nic neodesílá.

Generátor · kostra llms.txt

Jen stránky, které vaše robots.txt povoluje pro AI vyhledávání. Kostra vychází z návrhu na llmstxt.org.

# Name Ihrer Firma

> Ein Satz: Wer Sie sind, was Sie anbieten und wo.

## Wichtige Seiten

- [Leistungen](https://ihre-firma.de/leistungen): Was Sie anbieten
- [Kontakt](https://ihre-firma.de/kontakt): Telefon, Adresse, Öffnungszeiten

## Optional

- [Impressum](https://ihre-firma.de/impressum)

Běží v prohlížeči. Soubor umístěte jako llms.txt do hlavního adresáře webu.

Nejčastější past: skupiny nic nedědí

Crawler se řídí přesně skupinou se svým názvem. Pokud existuje, společné pravidlo pro něj již neplatí, ani zčásti. V příkladu vpravo „User-agent: *“ blokuje oblast /intern/, GPTBot však dostává vlastní skupinu s „Allow: /“.

Výsledek pro /intern/preise: ClaudeBot je zablokován (řádek 2: Disallow: /intern/ (skupina *)), GPTBot naopak smí číst (řádek 5: Allow: / (skupina GPTBot)). Co má být zablokováno pro všechny, musí proto být v každé pojmenované skupině. V generátoru tyto oblasti zadáte jednou, on je zopakuje všude.

User-agent: *
Disallow: /intern/

User-agent: GPTBot
Allow: /

Společný signál pro trénování

Od 30. října 2026 existuje u IETF návrh, který má zkrátit jednotlivá blokování: skupina „User-agent: __usage_ai-training“ s „Disallow: /“ všem zapojeným poskytovatelům najednou říká, že si trénování nepřejete. Cesty fungují jako obvykle, „Allow: /presse/“ vyjme tiskové materiály. Skupina není příkaz pro crawling a společné pravidlo „User-agent: *“ se pro ni výslovně nepočítá. Protože je návrh nový a ještě jej nečte každý poskytovatel, generátor zapisuje obojí: jednotlivé skupiny i signál.

Kdo zohledňuje signál pro trénování podle vlastních údajů
PoskytovatelOd kdy
Anthropicod 30. října 2026; pojmenovaná skupina ClaudeBot má přednost
Microsoft (Bing)od 1. února 2027
Googleplánováno pro rok 2027; bez vlastní skupiny Google-Extended vyhodnotí Google odmítnutí jako zablokovaný Google-Extended
OpenAI„v nadcházejících měsících“; pravidla GPTBot zůstávají

Zdroj: draft-kelley-aipref-training-preference-signal-00, bez statusu standardu, vyprší 3. května 2027. Stav 14. listopadu 2026.

Jak crawler čte vaši robots.txt

Od září 2022 je postup stanoven v RFC 9309 a podle něj počítá i kontrola. Soubor je vždy v /robots.txt v hlavním adresáři a platí jen pro přesně tento hostitel: přesměrovává-li vase-firma.cz na www.vase-firma.cz, počítá se soubor na www. Crawler hledá skupinu se svým názvem, bez ohledu na velká a malá písmena; pokud neexistuje, vezme „User-agent: *“, a pokud neexistuje ani ta, smí vše. Ve skupině vítězí nejdelší odpovídající pravidlo, při shodě Allow. Hvězdička znamená libovolné znaky, dolar na konci konec adresy.

Průzkum na 7 593 webech už v roce 2007 ukázal, že se soubor používá stále častěji, ale také čím je: pravidlem, které slušné crawlery dodržují, nikoli vynucením Sun et al. 2007. To se nezměnilo.

Co znamená stavový kód robots.txt
OdpověďRFC 9309Google
200, textový souborPravidla platí, načítá se nejméně 500 KiBstejně, vše po 500 KiB se ignoruje
200, ale webová stránkažádný platný řádek, tedy žádné pravidlostejně
404 a jiné 4xxžádná robots.txt, vše povolenovše povoleno, s výjimkou 429
429 příliš mnoho požadavkůjako 4xxjako chyba serveru
5xx nebo nedostupnévše zablokováno12 hodin žádný crawling, poté až 30 dní poslední správná verze
Přesměrovánínásleduje nejméně pětnejméně pět, poté jako 404

Google soubor obvykle ukládá až na 24 hodin, Amazon až na 30 dní. Změny proto neplatí okamžitě. Naše načtení následuje nejvýše tři přesměrování. Stav 14. listopadu 2026.

Údaje přímo na stránkách

Vedle robots.txt existují údaje pro jednotlivé stránky jako meta tag v hlavičce nebo X-Robots-Tag v odpovědi serveru. Kontrola je čte na úvodní stránce. Pro AI jsou zvlášť důležité tyto: noindex vyřadí stránku z vyhledávacího indexu, a tedy i z AI přehledů, nosnippet u Googlu zakazuje textový výňatek, také v AI přehledech a AI režimu. Amazon čte noarchive jako „ne pro trénování“. Microsoft od 1. února 2027 zavádí vlastní údaje pro trénování a podložení odpovědí (ai-training, ai-grounding) a od března 2027 již noarchive a nocache nebude číst jako AI pokyn. Údaje jako „noai“ jsou rozšířené, ale žádný provozovatel z našeho seznamu je nedokumentuje.

Co robots.txt neumí

  • Je to žádost. V pokusech se 130 pojmenovanými boty během 40 dnů boti přísná pravidla dodržovali méně často a crawlery AI vyhledávání soubor často ani nenačetly Kim et al. 2025.
  • Platí jen pro názvy. Pomocí speciálně připravených webů bylo možné doložit, který nástroj pro načítání zásobuje který AI systém, včetně několika, které jejich provozovatel nezveřejňuje Seiden et al. 2026. Kdo přichází pod cizím názvem, na žádné pravidlo nenarazí.
  • Vyžádání uživatelů se někdy obchází. OpenAI, Perplexity, Meta, Amazon a Google samy uvádějí, že jejich načtení na přání uživatele robots.txt nedodržují vždy. Anthropic a Mistral uvádějí tento soubor i pro tento účel jako prostředek řízení.
  • Tvrdé blokování je na serveru. Umělcům u robots.txt často chyběly znalosti nebo přístup k vlastnímu webu, účinnější ochranu poskytlo blokování na reverzním proxy Liu et al. 2025. Naopak někteří provideři hostingu a tvůrci webů blokují crawlery, aniž to vlastník ví: v jednom výřezu Common Crawl crawler výslovně odmítalo asi 1,68 procenta webů Ansar et al. 2025. Pokud naše načtení úvodní stránky dostane stránku s ověřením, kontrola to oznámí.
  • Naše načtení není AI crawler. Server načítá s vlastním označením. Pokud firewall blokuje crawlery podle názvu, například nastavením v Cloudflare, kontrola to nepozná.

A právně?

Podle § 44b odst. 3 UrhG je text a data mining u volně přístupných děl povolen, dokud si jej držitel práv nevyhradí; u obsahu na internetu se počítá jen výhrada ve strojově čitelné podobě. robots.txt je strojově čitelná, zda však jako výhrada stačí, není definitivně vyjasněno. Právní práce pro země common law odůvodňuje, že obcházení souboru může za určitých okolností vyvolat odpovědnost Chang a He 2025; pro Německo je třeba to zvlášť ověřit. Kdo chce výhradu uplatnit, uvede ji proto navíc v právních údajích nebo podmínkách používání. Nejde o právní poradenství.

llms.txt: co soubor umí a co ne

llms.txt navrhl Jeremy Howard 3. září 2024, popis je na llmstxt.org. Jde o soubor Markdown v /llms.txt: nadpis se jménem je jediná povinná část, následuje krátký popis jako citát, na přání několik vět a oddíly se seznamy odkazů na nejdůležitější stránky. Oddíl „Optional“ obsahuje to, co může asistent vynechat.

Měření na přibližně 4 milionech domén našlo soubor hlavně u technologických firem a některé jeho odkazy vedly na stránky blokované vlastní robots.txt Hoffmann et al. 2026. Přesně to kontrola ověřuje. Rozcestník na zablokované stránky nikam nevede.

Upřímně: Google ve své dokumentaci k AI přehledům uvádí, že pro ně není nutné vytvářet nové strojově čitelné soubory, a žádný zde zahrnutý provozovatel v dokumentaci crawlerů nepíše, že čte llms.txt cizích webů. Není tedy pákou pro viditelnost. Přesto dává smysl jako krátký, čistý vlastní popis, který může asistent přečíst při vyžádání uživatelem, a protože je hotový za deset minut.

Naše vlastní je na aureum-tech.com/llms.txt. Kostru pro vaši vytvoří generátor výše.

Smět číst ještě neznamená být uveden

Kontrola odpovídá na předběžnou otázku. Zda ChatGPT uvede vaši firmu, když někdo hledá elektrikáře v Plauen (Plavno), závisí na obsahu vašich stránek a na tom, co o vás píší jiní. V pokusech bylo možné viditelnost zdrojů v AI odpovědích zvýšit úpravou obsahu až o 40 procent, podle oboru jinými prostředky Aggarwal et al. 2024. U Googlu se při měření 55 393 vyhledávacích dotazů objevil AI přehled ve 13,7 procentech případů, u otázek v 64,7 procentech, a téměř 30 procent citovaných domén nebylo mezi výsledky první stránky Xu et al. 2026.

Být uveden také neznamená být citován správně. Ve čtyřech AI vyhledávačích bylo uvedenými zdroji v průměru pokryto jen něco přes polovinu vět Liu et al. 2023. A kdo zablokuje AI crawler Googlu, je v AI přehledech méně často použit jako zdroj, ačkoli Google uvádí, že přepínač neovlivňuje vyhledávání Grossman et al. 2026.

Jak viditelná je vaše firma v ChatGPT, Perplexity a AI Googlu, ukazuje rychlá kontrola SpotLens. Jak vytváříme obsah a strukturovaná data tak, aby je AI vyhledávání citovalo, najdete pod AI-SEO. Kdo si chce nejprve ověřit situaci sám, najde v rádci, jak zkontrolovat viditelnost v ChatGPT a co znamená AI viditelnost pro firmy. Jednotlivá pravidla otestujete v testeru robots.txt, další nástroje pro dohledatelnost najdete pod SEO a viditelnost.

Co na to říká výzkum

Hodnocení v kontrole vychází z 15 recenzovaných prací. Nejdůležitější zjištění i úplný seznam s poznámkou o ověření najdete níže.

  • Blokování přibývá, ale nerovnoměrně. Během jediného roku byly zablokovány velké části zdrojů za trénovacími daty AI, podle poskytovatele různě Longpre et al. 2024. Kontrola proto ukazuje crawlery jednotlivě.
  • Pravidla se dodržují selektivně. Čím přísnější pravidlo, tím méně často se jím boti řídili Kim et al. 2025. Kontrola proto neměří nic, co nemůže měřit, a říká to.
  • Trénování běží přes archivy. Common Crawl je jedním z nejdůležitějších zdrojů předtrénování Baack 2024 a korpusy jako C4 vznikají z jednotlivých výřezů Dodge et al. 2021. Kontrola proto varuje, pokud CCBot zůstává otevřený.
  • AI přehledy volí vlastní zdroje. Mnohé citované domény nejsou na první stránce Xu et al. 2026 a zablokované AI crawlery souvisejí s méně častým uváděním Grossman et al. 2026.
  • llms.txt je nová a často rozporná. Odkazy v souboru někdy vedou na zablokované stránky Hoffmann et al. 2026; kontrola ověřuje každý vlastní odkaz.

Jak tento nástroj použít z AI asistenta

Asistenti jako Claude nebo ChatGPT, kteří umějí Model Context Protocol (MCP), si mohou výpočet z této stránky zavolat přímo, místo aby ho napodobovali. Server je veřejný, nevyžaduje přihlášení a nic neukládá. Odpověď vždy obsahuje odkaz na tuto stránku, datum, ke kterému data platí, a meze výsledku.

Endpoint
https://aureum-tech.com/mcp
Nástroj
werkzeug_ki_crawler_check
Přenos
Streamable HTTP, jen pro čtení
Vstupy
NázevPovinnéVýznam
domainneDoména webu, např. vase-firma.cz nebo https://www.vase-firma.cz. Cesta se ignoruje, robots.txt je vždy v kořenovém adresáři. Jen veřejné weby, port 80 nebo 443.
robots_txtneMísto domény: text robots.txt, který se vyhodnotí bez načtení. Nezadávejte společně s domain.
pfadneCesta, pro kterou se kontroluje, např. /blog/clanek. Bez údaje úvodní stránka „/“.

Otázky, při kterých by ho měl asistent zavolat

  • „Smí ChatGPT číst můj web remesla-vzor.cz?“
  • „Blokuje naše robots.txt omylem AI vyhledávání Perplexity a ChatGPT?“
  • „Jak zakážu trénování AI, ale zůstanu viditelný ve vyhledávání ChatGPT a Claude?“
  • „Má www.priklad-praxe.cz soubor llms.txt a vedou jeho odkazy na zablokované stránky?“

Jak napojení funguje a co MCP zvládne ve vaší firmě, najdete na stránce Integrace MCP.

Časté otázky k AI crawlerům, robots.txt a llms.txt

Jak zakážu trénování AI, aniž bych zmizel z vyhledávání ChatGPT?

OpenAI obojí rozlišuje: GPTBot sbírá pro trénování, OAI-SearchBot pro vyhledávání v ChatGPT a každé nastavení platí samostatně. Do robots.txt tedy uveďte pro GPTBot „Disallow: /“ a pro OAI-SearchBot „Allow: /“. U Anthropicu platí totéž pro ClaudeBot a Claude-SearchBot, u Googlu zablokujte Google-Extended a Googlebot nechte beze změny. Generátor na této stránce vytvoří celý blok pro všechny zahrnuté poskytovatele.

Jaký je rozdíl mezi GPTBot, OAI-SearchBot a ChatGPT-User?

GPTBot sbírá obsah, který může vstoupit do trénování budoucích modelů. OAI-SearchBot buduje index, z něhož ChatGPT při hledání uvádí zdroje; kdo jej zablokuje, podle OpenAI se tam v odpovědích neobjeví. ChatGPT-User načte jednu stránku, protože se na ni někdo právě ptá v chatu. Pravidla robots.txt pro toto vyžádání podle OpenAI možná neplatí.

Zmizí můj web z Googlu, když zablokuji Google-Extended?

Ne. Google-Extended není vlastní crawler, ale přepínač určující, zda Google smí získaný obsah používat pro trénování Gemini a podložení odpovědí Gemini. Podle Googlu neovlivňuje ani zařazení do vyhledávání, ani hodnocení. AI přehledy ve vyhledávání Google závisejí na Googlebotu a pravidlech pro snippety, jako je nosnippet. Měření z roku 2026 však zjistilo, že stránky se zablokovaným AI crawlerem Googlu jsou v AI přehledech méně často zdrojem.

Potřebuji llms.txt?

Povinná není. llms.txt je návrh Jeremyho Howarda ze září 2024: soubor Markdown s nadpisem, stručným popisem a odkazy na nejdůležitější stránky. Google výslovně uvádí, že pro AI přehledy nejsou potřeba nové strojově čitelné soubory, a žádný zde zahrnutý provozovatel ve své dokumentaci crawlerů nepíše, že ji čte. Neškodí a je rychle hotová; kostru vytvoří generátor. Důležitější je, aby její odkazy nevedly na zablokované stránky.

Řídí se každý crawler souborem robots.txt?

Ne. robots.txt je žádost, ne zámek. Měření ukazují, že boti přísnější pravidla dodržují méně často a crawlery AI vyhledávání soubor často vůbec nenačítají. Vyžádání uživatelů, jako ChatGPT-User, Perplexity-User nebo meta-externalfetcher, podle jejich provozovatelů někdy robots.txt obcházejí; kdo sbírá bez jména, nenarazí na žádné pravidlo. Kdo chce skutečně blokovat, potřebuje blokování na serveru nebo u hostingu.

Platí blokování i pro již natrénované modely?

Ne. OpenAI a Anthropic popisují blokování jako pokyn pro budoucí trénování. Trénovací data vznikají z pevných výřezů webu, například z archivu Common Crawl; co už v něm je, v něm zůstává. Pokud trénování odmítáte, má proto smysl myslet i na CCBot.

Co znamená „User-agent: __usage_ai-training“?

Jde o společný signál pro trénování podle návrhu IETF z 30. října 2026. Skupina s tímto názvem a „Disallow: /“ sděluje všem zapojeným poskytovatelům najednou, že si trénování nepřejete. Anthropic jej podle vlastních údajů již zohledňuje, Microsoft od 1. února 2027, Google jej plánuje pro rok 2027 a OpenAI v nadcházejících měsících. Není to příkaz pro crawling a skupina „User-agent: *“ se pro něj výslovně nepočítá.

Kde končí kontrola AI crawlerů?

Čte pravidla vaší robots.txt, llms.txt a údaje Robots z úvodní stránky a u každého crawleru řekne, co je povoleno. Neměří, zda se jimi crawler řídí, ani zda AI asistent vaši firmu zná a doporučuje. To ukáže rychlá kontrola SpotLens; jak musí být obsah vytvořen, aby ho AI vyhledávání citovalo, najdete pod AI-SEO. Soubory vám na přání nastavíme.

O co se nástroj opírá

Orientační hodnoty a poznámky výše vycházejí z těchto 15 vědeckých prací. Každou jsme ověřili přes její DOI, případně na stránkách vydavatele (naposledy 14. listopadu 2026): existuje, nebyla stažena a její závěry pro tuto otázku platí dodnes.

  1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), s. 1123–1124

    Zjištění Pět průzkumů na 7 593 webech ukazuje, že robots.txt se používá stále častěji. Soubor není vynucení, ale pravidlo, které slušné crawlery dodržují.

    V nástroji Určuje základní zásadu stránky: robots.txt je žádost crawlerům, ne zámek.

  2. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), s. 1101–1102

    Zjištění Většina komerčních crawlerů pravidla dodržovala, mnozí však určitá pravidla robots.txt opakovaně porušovali nebo jim nerozuměli.

    V nástroji Generátor proto vytváří každou skupinu zvlášť a používá jen Allow a Disallow bez zástupných znaků.

  3. Kim, T.; Bock, K.; Luo, C. et al. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 541–557

    Zjištění V kontrolovaných pokusech se 130 pojmenovanými boty během 40 dnů boti méně často řídili přísnějšími pravidly; AI vyhledávací crawlery se na robots.txt často ani nedotázaly.

    V nástroji Odůvodňuje hranici „čte pravidla, neměří chování“ a upozornění na blokované uživatelské požadavky.

  4. Liu, E.; Luo, E.; Shan, S. a kol. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Sborník konference ACM Internet Measurement Conference 2025 (IMC 2025), s. 78–99

    Zjištění Měření a průzkum mezi 203 umělci ukazují velkou potřebu robots.txt, ale překážky ve znalostech i přístupu k vlastnímu webu. Blokování na reverzní proxy chránilo účinněji, je však málo rozšířené.

    V nástroji Proto doporučení zapojit pro důsledné blokování hosting nebo proxy a generátor, který nepředpokládá odborné znalosti.

  5. Seiden, S.; Ren, T.; Zhang, C. a kol. (2026): Identifying AI Web Scrapers Using Canary Tokens. Sborník konference ACM SIGSAC Conference on Computer and Communications Security 2026 (CCS 2026), s. 6998–7012

    Zjištění Pomocí speciálně připravených webů a 22 AI systémů bylo možné přiřadit, který požadavek zásobuje který model, včetně několika, jež jejich provozovatel nezveřejňuje.

    V nástroji Podporuje hranici, že tabulka zná jen crawlery, které jejich provozovatel dokumentuje pod vlastním jménem.

  6. Longpre, S.; Mahari, R.; Lee, A. a kol. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), s. 108042–108087

    Zjištění Kontrola 14 000 domén, z nichž pocházejí data pro trénování AI, zjistila během jednoho roku výrazný nárůst blokování, velké rozdíly mezi poskytovateli AI a časté rozpory mezi podmínkami použití a robots.txt.

    V nástroji Proto kontrola ukazuje každý crawler zvlášť, místo aby hlásila jen „AI povolena“ nebo „AI blokována“.

  7. Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Sborník konference ACM Conference on Fairness, Accountability, and Transparency 2024 (FAccT 2024), s. 2199–2208

    Zjištění Common Crawl je největší volně dostupná sbírka webových dat a jeden z nejdůležitějších zdrojů pro předtrénování velkých jazykových modelů, často s velkým podílem v trénovacích datech.

    V nástroji Proto je CCBot uveden u trénování a kontrola varuje, když jsou jednotlivé trénovací crawlery blokovány, ale CCBot ne.

  8. Dodge, J.; Sap, M.; Marasović, A. a kol. (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Sborník konference Conference on Empirical Methods in Natural Language Processing 2021 (EMNLP 2021), s. 1286–1305

    Zjištění Trénovací korpus C4 vznikl z jediného výřezu Common Crawl a obsahuje texty z nečekaných zdrojů, například patentové spisy a vojenské stránky.

    V nástroji Dokládá v textu, že trénovací korpusy vznikají z pevných výřezů: co v nich jednou je, pozdější zákaz už nezasáhne.

  9. Aggarwal, P.; Murahari, V.; Rajpurohit, T. a kol. (2024): GEO: Generative Engine Optimization. Sborník 30. konference ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), s. 5–16

    Zjištění Obsah lze připravit tak, aby jej AI vyhledávače citovaly až o 40 procent častěji; co funguje, závisí na oboru.

    V nástroji Podporuje vymezení: přístup je předpoklad, o citování rozhoduje obsah. Stránka proto odkazuje na AI-SEO.

  10. Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, s. 7001–7025

    Zjištění Ve čtyřech AI vyhledávačích byla v průměru jen o něco více než polovina vět plně pokryta zdroji a přibližně čtvrtina citací danou větu nepodporovala.

    V nástroji Podporuje hranici, že volný přístup nezaručuje správnou citaci: kontrola ověřuje čtení, ne odpověď.

  11. Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Sborník konference ACM Internet Measurement Conference 2026 (IMC 2026), s. 529–546

    Zjištění Při 55 393 vyhledávacích dotazech se AI přehled objevil ve 13,7 procentech případů, u otázek v 64,7 procentech. Téměř 30 procent citovaných domén nebylo mezi výsledky na první stránce.

    V nástroji Vysvětluje, proč je v kontrole Googlebot: AI přehledy vybírají zdroje z indexu, ale nejen z prvních výsledků.

  12. Grossman, R.; Liu, S.; Chen, M. K. a kol. (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Sborník 49. mezinárodní konference ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), s. 448–459

    Zjištění Při 11 500 vyhledávacích dotazech se zdroje Google vyhledávání, AI přehledu a Gemini výrazně lišily. Weby, které blokují AI crawlery Googlu, byly méně často použity jako zdroj v AI přehledech.

    V nástroji Upozornění při blokovaném Google-Extended staví toto zjištění vedle tvrzení Googlu, že přepínač nemá vliv na vyhledávání.

  13. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, s. 29–41

    Zjištění Měření na přibližně 4 milionech domén ukazuje: robots.txt zůstává nejdůležitějším prostředkem, soubory určené pro AI, jako ai.txt a llms.txt, používají především technologické firmy. Některé odkazy v souborech llms.txt vedou na stránky, které blokuje robots.txt.

    V nástroji Z toho vychází kontrola, zda odkazy v llms.txt vedou na blokované stránky.

  14. Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, článek 106176

    Zjištění U generativní AI má ignorování robots.txt závažnější dopady. Práce pro země common law odůvodňuje, že soubor může za určitých okolností působit jako jednostranná smlouva nebo jako upozornění s důsledky pro odpovědnost.

    V nástroji Podporuje upozornění, že robots.txt je více než technická věc, s omezením, že právní situaci v Německu je třeba posoudit samostatně.

  15. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, s. 197–214

    Zjištění Přibližně 1,68 procenta webů v jednom stažení Common Crawl crawler výslovně odmítlo, často prostřednictvím velkých hostingů a poskytovatelů webových stavebnic, od blokování až po ověřovací stránku.

    V nástroji Proto upozornění, když úvodní stránka odpoví ověřovací stránkou: ochrana proti botům blokuje nezávisle na robots.txt.

Normy, úřady a údaje výrobců

Po–Pá 8:00–17:00

Pošlete nám zkopírovaný výsledek. Nastavíme robots.txt, llms.txt a strukturovaná data tak, aby AI vyhledávače mohly číst vaše stránky a trénování probíhalo jen tam, kde si to přejete, v Rodewischi i v celém Vogtlandu.

+49 3744 4399760[email protected]

Po–Pá 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch

Nechat nastavit přístup AI
+49 3744 4399760Po–Pá 8:00–17:00
ZavolatZpětné volání

KUSOVNÍK · LIST 1/1

Z čeho se tato stránka skládá

Hodnoty jsou změřené při sestavení stránky. Se zapnutým JavaScriptem je váš prohlížeč přeměří živě.

POZ.DÍLTYPVELIKOST
01index.htmlDokument≈ 29 kB
02styles.cssStyly≈ 20 kB
03scripts.jsSkript≈ 13 kB
04archivo-variable.woff2Písmo≈ 58 kB
05ibm-plex-mono.woff2Písmo≈ 30 kB
06favicon.svgGrafika< 1 kB

Reklamní nebo analytické cookies: žádné. Bez vašeho souhlasu stránka nenačítá nic z cizích serverů, jen z naší doručovací služby Cloudflare. Písma, skripty i grafika jsou uložené u nás. Stejně stavíme i vaše IT.

MIMO PROVOZNÍ DOBU

Klidně zavolejte i tak

V kanceláři jsme běžně od pondělí do pátku, 8:00–17:00.

Číslo je k nám přesměrované i večer a o víkendu a často to někdo vezme. Slíbit to ale nemůžeme.

Když se nedovoláte, nechte nám krátký vzkaz v hlasové schránce: jméno, číslo a o co jde. Zavoláme zpět co nejdřív, nejpozději další pracovní den.

Za hovor nic neplatíte. Když se do toho mimo provozní dobu musí někdo pustit hned, platí příplatek podle ceníku.

Zavolat hned+49 3744 4399760

Raději napíšete? Přes kontaktní formulář nebo na [email protected]. Přečteme si to další pracovní den.

DIAGNOSTIKA · AT-K2

Co potřebujete?

↵ VYBRATESC ZAVŘÍTZAVOLAT: +49 3744 4399760

Vlastní nastavení

Které služby se smějí načítat?

Technicky nezbytné

Vaše rozhodnutí z tohoto okna a nastavení barevného režimu a animací. Tyto údaje zůstávají jako drobné záznamy ve vašem zařízení a nikdy se neposílají na žádný server. Jsou nutné pro provoz stránek, a proto je nelze vypnout.