Nástroj AT-W29REV. 2026-A
Kontrola AI crawlerů: Smějí ChatGPT, Claude a Perplexity číst váš web?
Zda AI asistent smí číst váš web, určuje robots.txt: pro každý crawler vlastní skupina, jinak platí společné pravidlo „User-agent: *“. Rozhoduje účel. GPTBot a ClaudeBot sbírají pro trénování, OAI-SearchBot a Claude-SearchBot pro AI vyhledávání a ChatGPT-User načte stránku, když se na ni někdo v chatu ptá. Kontrola načte vaše pravidla pro 27 crawlerů, ověří llms.txt a vytvoří vám odpovídající blok.
- zdarma
- bez registrace
- 5 minut v mezipaměti
01 / NAČTENÍ
Zadejte doménu, přečtěte přístup pro každý crawler
Načtení · robots.txt, llms.txt a úvodní stránka
Kontrola načte pravidla tak, jak dnes jsou na serveru, a vyhodnotí je podle RFC 9309. Zda je crawler dodrží, rozhoduje jeho provozovatel.
Bez načtení: vložte text robots.txt
Například pro soubor, který ještě není online. Text zůstává v prohlížeči; platí cesta uvedená výše.
02 / CRAWLERY
Jaké AI crawlery existují a proč čtou
Velcí poskytovatelé neposílají jeden crawler, ale několik podle účelu. To je při nastavení nejdůležitější: kdo zablokuje „AI“, obvykle také zmizí z AI vyhledávání a nebude tam uváděn jako zdroj. Od roku 2023 weby stále častěji blokují poskytovatele AI, a to velmi rozdílně; výzkumníci přitom mezi podmínkami používání a robots.txt často našli rozpory Longpre et al. 2024. Kontrola proto ukazuje každý crawler zvlášť.
| Druh | Položky | Co dělají |
|---|---|---|
| AI vyhledávání | 11 | Buduje index, z něhož AI asistent nebo vyhledávač získává odpovědi se zdroji. Po zablokování se stránka objevuje jako zdroj méně často nebo vůbec. |
| Trénování | 6 | Sbírá obsah, z něhož se jazykové modely učí. Zákaz platí pro budoucí trénování, ne pro již natrénované modely. |
| Přepínač pro trénování | 2 | Není vlastní crawler. Pravidlo provozovateli říká, zda smí již získaný obsah používat pro trénování. |
| Vyžádání uživatelem | 7 | Načte jednu stránku, protože se na ni člověk právě ptá. Několik provozovatelů píše, že robots.txt pro to neplatí nebo neplatí vždy. |
Dvě položky si zaslouží bližší pohled. Common Crawl sám netrénuje žádný model, ale vytváří největší volně dostupný archiv webu, který patří k nejdůležitějším zdrojům předtrénování velkých jazykových modelů Baack 2024. Známý trénovací korpus C4 například vznikl z jediného takového výřezu Dodge et al. 2021. Kdo odmítá trénování, blokuje proto také CCBot; pravidlo však nevrátí nic, co již ve výřezu je. Druhý je Googlebot: je v seznamu, protože na jeho indexu stojí AI přehledy a AI režim vyhledávání Google. Kdo chce být na Googlu dohledatelný, ten jej neblokuje.
Všech 27 zahrnutých crawlerů
| Název v robots.txt | Provozovatel | Účel | robots.txt platí | Co uvádí provozovatel |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | AI vyhledávání | ano, podle provozovatele | Zajišťuje vyhledávání v ChatGPT. Kdo jej zablokuje, neobjeví se tam v odpovědích jako zdroj. |
| Claude-SearchBot | Anthropic | AI vyhledávání | ano, podle provozovatele | Podporuje vyhledávání v Claude. Po zablokování se stránka objevuje ve výsledcích méně často. |
| Googlebot | AI vyhledávání | ano, podle provozovatele | Crawler vyhledávání Google. Tento index používají i AI přehledy a AI režim; ovládají se pomocí nosnippet, max-snippet a noindex. | |
| PerplexityBot | Perplexity | AI vyhledávání | ano, podle provozovatele | Buduje index, z něhož Perplexity odkazuje na zdroje. Podle provozovatele neslouží k trénování modelů. |
| Applebot | Apple | AI vyhledávání | ano, podle provozovatele | Crawler pro vyhledávání v Siri, Spotlight a Safari. Data mohou podle Applu vstoupit i do trénování modelů Applu; k tomu slouží Applebot-Extended. |
| meta-webindexer | Meta | AI vyhledávání | ano, podle provozovatele | Indexuje pro vyhledávání v Meta AI, aby Meta mohla obsah citovat a odkazovat na něj. |
| Amzn-SearchBot | Amazon | AI vyhledávání | ano, podle provozovatele | Pro vyhledávací funkce v produktech Amazonu, například Alexa, podle Amazonu ne pro trénování. |
| bingbot | Microsoft | AI vyhledávání | ano, podle provozovatele | Crawler Bingu. Microsoft neuvádí vlastní AI označení; pravidla pro trénování a AI odpovědi budou od února 2027 směřovat na Bingbot. |
| MistralAI-Index | Mistral | AI vyhledávání | ano, podle provozovatele | Crawluje pouze pro vyhledávací index, podle Mistralu ne pro trénování. |
| DuckAssistBot | DuckDuckGo | AI vyhledávání | ano, podle provozovatele | Načítá stránky v reálném čase pro AI odpovědi DuckDuckGo s uvedením zdroje. Podle provozovatele ne pro trénování. |
| YouBot | You.com | AI vyhledávání | ano, podle provozovatele | Crawler vyhledávače You.com. Dodržuje robots.txt včetně Crawl-delay. |
| GPTBot | OpenAI | Trénování | ano, podle provozovatele | Sbírá obsah, který může vstoupit do trénování modelů OpenAI. Zablokování podle OpenAI znamená: nepoužívat pro trénování. |
| ClaudeBot | Anthropic | Trénování | ano, podle provozovatele | Sbírá obsah, který může vstoupit do trénování modelů Anthropicu. Anthropic dodržuje robots.txt i Crawl-delay. |
| meta-externalagent | Meta | Trénování | ano, podle provozovatele | Sbírá pro trénování AI modelů a produkty Mety. |
| Amazonbot | Amazon | Trénování | ano, podle provozovatele | Zlepšuje produkty Amazonu, což může zahrnovat trénování AI modelů Amazonu. Crawl-delay nedodržuje. |
| MistralAI-Training | Mistral | Trénování | ano, podle provozovatele | Sbírá obsah pro trénovací data modelů Mistral. |
| CCBot | Common Crawl | Trénování | ano, podle provozovatele | Vytváří veřejně přístupný archiv webu. Common Crawl sám nic netrénuje, ale archiv je jedním z nejdůležitějších zdrojů trénovacích dat. |
| Google-Extended | Přepínač pro trénování | ano, podle provozovatele | Není vlastní crawler, ale přepínač: smí Google používat již načtený obsah pro trénování budoucích modelů Gemini a podložení odpovědí Gemini? Podle Googlu neovlivňuje vyhledávání Google. | |
| Applebot-Extended | Apple | Přepínač pro trénování | ano, podle provozovatele | Není vlastní crawler. Pokud je zablokován, Apple obsah nepoužívá k trénování svých modelů; stránka ve vyhledávání zůstává. |
| ChatGPT-User | OpenAI | Vyžádání uživatelem | ne vždy | Načte stránku, když se na ni někdo v ChatGPT ptá. Podle OpenAI pro to pravidla robots.txt možná neplatí. |
| Claude-User | Anthropic | Vyžádání uživatelem | ano, podle provozovatele | Načítá stránky, když uživatelé položí otázku v Claude. Anthropic uvádí, že jeho boti robots.txt dodržují. |
| Google-Agent | Vyžádání uživatelem | ne vždy | Prochází web jménem uživatele a provádí akce. Vyžádání uživatelů robots.txt podle Googlu zpravidla obchází. | |
| Perplexity-User | Perplexity | Vyžádání uživatelem | ne vždy | Načte stránky, když se uživatel ptá. Podle Perplexity robots.txt zpravidla ignoruje. |
| meta-externalfetcher | Meta | Vyžádání uživatelem | ne vždy | Načte jednotlivé odkazy na přání uživatele, také pro AI agenty. Podle Mety může robots.txt obejít. |
| Amzn-User | Amazon | Vyžádání uživatelem | ne vždy | Načítá aktuální data pro dotaz uživatele, například pro Alexu. Podle Amazonu nedodržuje všechna pravidla robots.txt. |
| MistralAI-User | Mistral | Vyžádání uživatelem | ano, podle provozovatele | Načte stránku, když se uživatel ptá, a odkáže na ni jako na zdroj. Skupina robots.txt podle Mistralu určuje, které stránky pro to připadají v úvahu. |
| Bytespider | ByteDance | nejasné | nedoloženo | Nebyla nalezena dokumentace provozovatele. Účel ani zacházení s robots.txt nejsou doloženy. |
Nezahrnuto: názvy z adresářů botů, které sám provozovatel neuvádí (například anthropic-ai nebo cohere-ai). Cohere podle vlastní dokumentace momentálně crawler neprovozuje; Microsoft neuvádí vlastní AI označení, jeho pravidla pro AI směřují na bingbot. Stav 14. listopadu 2026.
03 / GENERÁTOR
Zakázat trénování, povolit AI vyhledávání: odpovídající blok
Většina firem chce totéž: objevovat se jako zdroj v odpovědích ChatGPT, Claude nebo Perplexity, ale nedodávat bez vyžádání trénovací materiál. Generátor je na to přednastaven. Vytváří každou skupinu zvlášť a používá jen Allow a Disallow bez zástupných znaků, protože i komerční crawlery některá pravidla stále opakovaně nechápou Giles et al. 2010. Blok vložte do své stávající robots.txt; skupina „User-agent: *“ zůstane beze změny.
Generátor · blok robots.txt
Generátor běží v prohlížeči a nic neodesílá.
Generátor · kostra llms.txt
Běží v prohlížeči. Soubor umístěte jako llms.txt do hlavního adresáře webu.
Nejčastější past: skupiny nic nedědí
Crawler se řídí přesně skupinou se svým názvem. Pokud existuje, společné pravidlo pro něj již neplatí, ani zčásti. V příkladu vpravo „User-agent: *“ blokuje oblast /intern/, GPTBot však dostává vlastní skupinu s „Allow: /“.
Výsledek pro /intern/preise: ClaudeBot je zablokován (řádek 2: Disallow: /intern/ (skupina *)), GPTBot naopak smí číst (řádek 5: Allow: / (skupina GPTBot)). Co má být zablokováno pro všechny, musí proto být v každé pojmenované skupině. V generátoru tyto oblasti zadáte jednou, on je zopakuje všude.
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
Společný signál pro trénování
Od 30. října 2026 existuje u IETF návrh, který má zkrátit jednotlivá blokování: skupina „User-agent: __usage_ai-training“ s „Disallow: /“ všem zapojeným poskytovatelům najednou říká, že si trénování nepřejete. Cesty fungují jako obvykle, „Allow: /presse/“ vyjme tiskové materiály. Skupina není příkaz pro crawling a společné pravidlo „User-agent: *“ se pro ni výslovně nepočítá. Protože je návrh nový a ještě jej nečte každý poskytovatel, generátor zapisuje obojí: jednotlivé skupiny i signál.
| Poskytovatel | Od kdy |
|---|---|
| Anthropic | od 30. října 2026; pojmenovaná skupina ClaudeBot má přednost |
| Microsoft (Bing) | od 1. února 2027 |
| plánováno pro rok 2027; bez vlastní skupiny Google-Extended vyhodnotí Google odmítnutí jako zablokovaný Google-Extended | |
| OpenAI | „v nadcházejících měsících“; pravidla GPTBot zůstávají |
Zdroj: draft-kelley-aipref-training-preference-signal-00, bez statusu standardu, vyprší 3. května 2027. Stav 14. listopadu 2026.
04 / PRAVIDLA
Jak crawler čte vaši robots.txt
Od září 2022 je postup stanoven v RFC 9309 a podle něj počítá i kontrola. Soubor je vždy v /robots.txt v hlavním adresáři a platí jen pro přesně tento hostitel: přesměrovává-li vase-firma.cz na www.vase-firma.cz, počítá se soubor na www. Crawler hledá skupinu se svým názvem, bez ohledu na velká a malá písmena; pokud neexistuje, vezme „User-agent: *“, a pokud neexistuje ani ta, smí vše. Ve skupině vítězí nejdelší odpovídající pravidlo, při shodě Allow. Hvězdička znamená libovolné znaky, dolar na konci konec adresy.
Průzkum na 7 593 webech už v roce 2007 ukázal, že se soubor používá stále častěji, ale také čím je: pravidlem, které slušné crawlery dodržují, nikoli vynucením Sun et al. 2007. To se nezměnilo.
| Odpověď | RFC 9309 | |
|---|---|---|
| 200, textový soubor | Pravidla platí, načítá se nejméně 500 KiB | stejně, vše po 500 KiB se ignoruje |
| 200, ale webová stránka | žádný platný řádek, tedy žádné pravidlo | stejně |
| 404 a jiné 4xx | žádná robots.txt, vše povoleno | vše povoleno, s výjimkou 429 |
| 429 příliš mnoho požadavků | jako 4xx | jako chyba serveru |
| 5xx nebo nedostupné | vše zablokováno | 12 hodin žádný crawling, poté až 30 dní poslední správná verze |
| Přesměrování | následuje nejméně pět | nejméně pět, poté jako 404 |
Google soubor obvykle ukládá až na 24 hodin, Amazon až na 30 dní. Změny proto neplatí okamžitě. Naše načtení následuje nejvýše tři přesměrování. Stav 14. listopadu 2026.
Údaje přímo na stránkách
Vedle robots.txt existují údaje pro jednotlivé stránky jako meta tag v hlavičce nebo X-Robots-Tag v odpovědi serveru. Kontrola je čte na úvodní stránce. Pro AI jsou zvlášť důležité tyto: noindex vyřadí stránku z vyhledávacího indexu, a tedy i z AI přehledů, nosnippet u Googlu zakazuje textový výňatek, také v AI přehledech a AI režimu. Amazon čte noarchive jako „ne pro trénování“. Microsoft od 1. února 2027 zavádí vlastní údaje pro trénování a podložení odpovědí (ai-training, ai-grounding) a od března 2027 již noarchive a nocache nebude číst jako AI pokyn. Údaje jako „noai“ jsou rozšířené, ale žádný provozovatel z našeho seznamu je nedokumentuje.
05 / MEZE
Co robots.txt neumí
- Je to žádost. V pokusech se 130 pojmenovanými boty během 40 dnů boti přísná pravidla dodržovali méně často a crawlery AI vyhledávání soubor často ani nenačetly Kim et al. 2025.
- Platí jen pro názvy. Pomocí speciálně připravených webů bylo možné doložit, který nástroj pro načítání zásobuje který AI systém, včetně několika, které jejich provozovatel nezveřejňuje Seiden et al. 2026. Kdo přichází pod cizím názvem, na žádné pravidlo nenarazí.
- Vyžádání uživatelů se někdy obchází. OpenAI, Perplexity, Meta, Amazon a Google samy uvádějí, že jejich načtení na přání uživatele robots.txt nedodržují vždy. Anthropic a Mistral uvádějí tento soubor i pro tento účel jako prostředek řízení.
- Tvrdé blokování je na serveru. Umělcům u robots.txt často chyběly znalosti nebo přístup k vlastnímu webu, účinnější ochranu poskytlo blokování na reverzním proxy Liu et al. 2025. Naopak někteří provideři hostingu a tvůrci webů blokují crawlery, aniž to vlastník ví: v jednom výřezu Common Crawl crawler výslovně odmítalo asi 1,68 procenta webů Ansar et al. 2025. Pokud naše načtení úvodní stránky dostane stránku s ověřením, kontrola to oznámí.
- Naše načtení není AI crawler. Server načítá s vlastním označením. Pokud firewall blokuje crawlery podle názvu, například nastavením v Cloudflare, kontrola to nepozná.
A právně?
Podle § 44b odst. 3 UrhG je text a data mining u volně přístupných děl povolen, dokud si jej držitel práv nevyhradí; u obsahu na internetu se počítá jen výhrada ve strojově čitelné podobě. robots.txt je strojově čitelná, zda však jako výhrada stačí, není definitivně vyjasněno. Právní práce pro země common law odůvodňuje, že obcházení souboru může za určitých okolností vyvolat odpovědnost Chang a He 2025; pro Německo je třeba to zvlášť ověřit. Kdo chce výhradu uplatnit, uvede ji proto navíc v právních údajích nebo podmínkách používání. Nejde o právní poradenství.
06 / LLMS.TXT
llms.txt: co soubor umí a co ne
llms.txt navrhl Jeremy Howard 3. září 2024, popis je na llmstxt.org. Jde o soubor Markdown v /llms.txt: nadpis se jménem je jediná povinná část, následuje krátký popis jako citát, na přání několik vět a oddíly se seznamy odkazů na nejdůležitější stránky. Oddíl „Optional“ obsahuje to, co může asistent vynechat.
Měření na přibližně 4 milionech domén našlo soubor hlavně u technologických firem a některé jeho odkazy vedly na stránky blokované vlastní robots.txt Hoffmann et al. 2026. Přesně to kontrola ověřuje. Rozcestník na zablokované stránky nikam nevede.
Upřímně: Google ve své dokumentaci k AI přehledům uvádí, že pro ně není nutné vytvářet nové strojově čitelné soubory, a žádný zde zahrnutý provozovatel v dokumentaci crawlerů nepíše, že čte llms.txt cizích webů. Není tedy pákou pro viditelnost. Přesto dává smysl jako krátký, čistý vlastní popis, který může asistent přečíst při vyžádání uživatelem, a protože je hotový za deset minut.
Naše vlastní je na aureum-tech.com/llms.txt. Kostru pro vaši vytvoří generátor výše.
07 / VIDITELNOST
Smět číst ještě neznamená být uveden
Kontrola odpovídá na předběžnou otázku. Zda ChatGPT uvede vaši firmu, když někdo hledá elektrikáře v Plauen (Plavno), závisí na obsahu vašich stránek a na tom, co o vás píší jiní. V pokusech bylo možné viditelnost zdrojů v AI odpovědích zvýšit úpravou obsahu až o 40 procent, podle oboru jinými prostředky Aggarwal et al. 2024. U Googlu se při měření 55 393 vyhledávacích dotazů objevil AI přehled ve 13,7 procentech případů, u otázek v 64,7 procentech, a téměř 30 procent citovaných domén nebylo mezi výsledky první stránky Xu et al. 2026.
Být uveden také neznamená být citován správně. Ve čtyřech AI vyhledávačích bylo uvedenými zdroji v průměru pokryto jen něco přes polovinu vět Liu et al. 2023. A kdo zablokuje AI crawler Googlu, je v AI přehledech méně často použit jako zdroj, ačkoli Google uvádí, že přepínač neovlivňuje vyhledávání Grossman et al. 2026.
Jak viditelná je vaše firma v ChatGPT, Perplexity a AI Googlu, ukazuje rychlá kontrola SpotLens. Jak vytváříme obsah a strukturovaná data tak, aby je AI vyhledávání citovalo, najdete pod AI-SEO. Kdo si chce nejprve ověřit situaci sám, najde v rádci, jak zkontrolovat viditelnost v ChatGPT a co znamená AI viditelnost pro firmy. Jednotlivá pravidla otestujete v testeru robots.txt, další nástroje pro dohledatelnost najdete pod SEO a viditelnost.
08 / VÝZKUM
Co na to říká výzkum
Hodnocení v kontrole vychází z 15 recenzovaných prací. Nejdůležitější zjištění i úplný seznam s poznámkou o ověření najdete níže.
- Blokování přibývá, ale nerovnoměrně. Během jediného roku byly zablokovány velké části zdrojů za trénovacími daty AI, podle poskytovatele různě Longpre et al. 2024. Kontrola proto ukazuje crawlery jednotlivě.
- Pravidla se dodržují selektivně. Čím přísnější pravidlo, tím méně často se jím boti řídili Kim et al. 2025. Kontrola proto neměří nic, co nemůže měřit, a říká to.
- Trénování běží přes archivy. Common Crawl je jedním z nejdůležitějších zdrojů předtrénování Baack 2024 a korpusy jako C4 vznikají z jednotlivých výřezů Dodge et al. 2021. Kontrola proto varuje, pokud CCBot zůstává otevřený.
- AI přehledy volí vlastní zdroje. Mnohé citované domény nejsou na první stránce Xu et al. 2026 a zablokované AI crawlery souvisejí s méně častým uváděním Grossman et al. 2026.
- llms.txt je nová a často rozporná. Odkazy v souboru někdy vedou na zablokované stránky Hoffmann et al. 2026; kontrola ověřuje každý vlastní odkaz.
09 / PRO AI ASISTENTY
Jak tento nástroj použít z AI asistenta
Asistenti jako Claude nebo ChatGPT, kteří umějí Model Context Protocol (MCP), si mohou výpočet z této stránky zavolat přímo, místo aby ho napodobovali. Server je veřejný, nevyžaduje přihlášení a nic neukládá. Odpověď vždy obsahuje odkaz na tuto stránku, datum, ke kterému data platí, a meze výsledku.
- Endpoint
https://aureum-tech.com/mcp- Nástroj
werkzeug_ki_crawler_check- Přenos
- Streamable HTTP, jen pro čtení
| Název | Povinné | Význam |
|---|---|---|
domain | ne | Doména webu, např. vase-firma.cz nebo https://www.vase-firma.cz. Cesta se ignoruje, robots.txt je vždy v kořenovém adresáři. Jen veřejné weby, port 80 nebo 443. |
robots_txt | ne | Místo domény: text robots.txt, který se vyhodnotí bez načtení. Nezadávejte společně s domain. |
pfad | ne | Cesta, pro kterou se kontroluje, např. /blog/clanek. Bez údaje úvodní stránka „/“. |
Otázky, při kterých by ho měl asistent zavolat
- „Smí ChatGPT číst můj web remesla-vzor.cz?“
- „Blokuje naše robots.txt omylem AI vyhledávání Perplexity a ChatGPT?“
- „Jak zakážu trénování AI, ale zůstanu viditelný ve vyhledávání ChatGPT a Claude?“
- „Má www.priklad-praxe.cz soubor llms.txt a vedou jeho odkazy na zablokované stránky?“
Jak napojení funguje a co MCP zvládne ve vaší firmě, najdete na stránce Integrace MCP.
10 / ČASTÉ OTÁZKY
Časté otázky k AI crawlerům, robots.txt a llms.txt
Jak zakážu trénování AI, aniž bych zmizel z vyhledávání ChatGPT?
OpenAI obojí rozlišuje: GPTBot sbírá pro trénování, OAI-SearchBot pro vyhledávání v ChatGPT a každé nastavení platí samostatně. Do robots.txt tedy uveďte pro GPTBot „Disallow: /“ a pro OAI-SearchBot „Allow: /“. U Anthropicu platí totéž pro ClaudeBot a Claude-SearchBot, u Googlu zablokujte Google-Extended a Googlebot nechte beze změny. Generátor na této stránce vytvoří celý blok pro všechny zahrnuté poskytovatele.
Jaký je rozdíl mezi GPTBot, OAI-SearchBot a ChatGPT-User?
GPTBot sbírá obsah, který může vstoupit do trénování budoucích modelů. OAI-SearchBot buduje index, z něhož ChatGPT při hledání uvádí zdroje; kdo jej zablokuje, podle OpenAI se tam v odpovědích neobjeví. ChatGPT-User načte jednu stránku, protože se na ni někdo právě ptá v chatu. Pravidla robots.txt pro toto vyžádání podle OpenAI možná neplatí.
Zmizí můj web z Googlu, když zablokuji Google-Extended?
Ne. Google-Extended není vlastní crawler, ale přepínač určující, zda Google smí získaný obsah používat pro trénování Gemini a podložení odpovědí Gemini. Podle Googlu neovlivňuje ani zařazení do vyhledávání, ani hodnocení. AI přehledy ve vyhledávání Google závisejí na Googlebotu a pravidlech pro snippety, jako je nosnippet. Měření z roku 2026 však zjistilo, že stránky se zablokovaným AI crawlerem Googlu jsou v AI přehledech méně často zdrojem.
Potřebuji llms.txt?
Povinná není. llms.txt je návrh Jeremyho Howarda ze září 2024: soubor Markdown s nadpisem, stručným popisem a odkazy na nejdůležitější stránky. Google výslovně uvádí, že pro AI přehledy nejsou potřeba nové strojově čitelné soubory, a žádný zde zahrnutý provozovatel ve své dokumentaci crawlerů nepíše, že ji čte. Neškodí a je rychle hotová; kostru vytvoří generátor. Důležitější je, aby její odkazy nevedly na zablokované stránky.
Řídí se každý crawler souborem robots.txt?
Ne. robots.txt je žádost, ne zámek. Měření ukazují, že boti přísnější pravidla dodržují méně často a crawlery AI vyhledávání soubor často vůbec nenačítají. Vyžádání uživatelů, jako ChatGPT-User, Perplexity-User nebo meta-externalfetcher, podle jejich provozovatelů někdy robots.txt obcházejí; kdo sbírá bez jména, nenarazí na žádné pravidlo. Kdo chce skutečně blokovat, potřebuje blokování na serveru nebo u hostingu.
Platí blokování i pro již natrénované modely?
Ne. OpenAI a Anthropic popisují blokování jako pokyn pro budoucí trénování. Trénovací data vznikají z pevných výřezů webu, například z archivu Common Crawl; co už v něm je, v něm zůstává. Pokud trénování odmítáte, má proto smysl myslet i na CCBot.
Co znamená „User-agent: __usage_ai-training“?
Jde o společný signál pro trénování podle návrhu IETF z 30. října 2026. Skupina s tímto názvem a „Disallow: /“ sděluje všem zapojeným poskytovatelům najednou, že si trénování nepřejete. Anthropic jej podle vlastních údajů již zohledňuje, Microsoft od 1. února 2027, Google jej plánuje pro rok 2027 a OpenAI v nadcházejících měsících. Není to příkaz pro crawling a skupina „User-agent: *“ se pro něj výslovně nepočítá.
Kde končí kontrola AI crawlerů?
Čte pravidla vaší robots.txt, llms.txt a údaje Robots z úvodní stránky a u každého crawleru řekne, co je povoleno. Neměří, zda se jimi crawler řídí, ani zda AI asistent vaši firmu zná a doporučuje. To ukáže rychlá kontrola SpotLens; jak musí být obsah vytvořen, aby ho AI vyhledávání citovalo, najdete pod AI-SEO. Soubory vám na přání nastavíme.
11 / STUDIE A ZDROJE
O co se nástroj opírá
Orientační hodnoty a poznámky výše vycházejí z těchto 15 vědeckých prací. Každou jsme ověřili přes její DOI, případně na stránkách vydavatele (naposledy 14. listopadu 2026): existuje, nebyla stažena a její závěry pro tuto otázku platí dodnes.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), s. 1123–1124
Zjištění Pět průzkumů na 7 593 webech ukazuje, že robots.txt se používá stále častěji. Soubor není vynucení, ale pravidlo, které slušné crawlery dodržují.
V nástroji Určuje základní zásadu stránky: robots.txt je žádost crawlerům, ne zámek.
doi.org/10.1145/1242572.1242726 · konferenční příspěvek
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), s. 1101–1102
Zjištění Většina komerčních crawlerů pravidla dodržovala, mnozí však určitá pravidla robots.txt opakovaně porušovali nebo jim nerozuměli.
V nástroji Generátor proto vytváří každou skupinu zvlášť a používá jen Allow a Disallow bez zástupných znaků.
doi.org/10.1145/1772690.1772824 · konferenční příspěvek
Kim, T.; Bock, K.; Luo, C. et al. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 541–557
Zjištění V kontrolovaných pokusech se 130 pojmenovanými boty během 40 dnů boti méně často řídili přísnějšími pravidly; AI vyhledávací crawlery se na robots.txt často ani nedotázaly.
V nástroji Odůvodňuje hranici „čte pravidla, neměří chování“ a upozornění na blokované uživatelské požadavky.
doi.org/10.1145/3730567.3764471 · konferenční příspěvek
Liu, E.; Luo, E.; Shan, S. a kol. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Sborník konference ACM Internet Measurement Conference 2025 (IMC 2025), s. 78–99
Zjištění Měření a průzkum mezi 203 umělci ukazují velkou potřebu robots.txt, ale překážky ve znalostech i přístupu k vlastnímu webu. Blokování na reverzní proxy chránilo účinněji, je však málo rozšířené.
V nástroji Proto doporučení zapojit pro důsledné blokování hosting nebo proxy a generátor, který nepředpokládá odborné znalosti.
doi.org/10.1145/3730567.3732913 · konferenční příspěvek
Seiden, S.; Ren, T.; Zhang, C. a kol. (2026): Identifying AI Web Scrapers Using Canary Tokens. Sborník konference ACM SIGSAC Conference on Computer and Communications Security 2026 (CCS 2026), s. 6998–7012
Zjištění Pomocí speciálně připravených webů a 22 AI systémů bylo možné přiřadit, který požadavek zásobuje který model, včetně několika, jež jejich provozovatel nezveřejňuje.
V nástroji Podporuje hranici, že tabulka zná jen crawlery, které jejich provozovatel dokumentuje pod vlastním jménem.
doi.org/10.1145/3830454.3846799 · konferenční příspěvek
Longpre, S.; Mahari, R.; Lee, A. a kol. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), s. 108042–108087
Zjištění Kontrola 14 000 domén, z nichž pocházejí data pro trénování AI, zjistila během jednoho roku výrazný nárůst blokování, velké rozdíly mezi poskytovateli AI a časté rozpory mezi podmínkami použití a robots.txt.
V nástroji Proto kontrola ukazuje každý crawler zvlášť, místo aby hlásila jen „AI povolena“ nebo „AI blokována“.
doi.org/10.52202/079017-3431 · konferenční příspěvek
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Sborník konference ACM Conference on Fairness, Accountability, and Transparency 2024 (FAccT 2024), s. 2199–2208
Zjištění Common Crawl je největší volně dostupná sbírka webových dat a jeden z nejdůležitějších zdrojů pro předtrénování velkých jazykových modelů, často s velkým podílem v trénovacích datech.
V nástroji Proto je CCBot uveden u trénování a kontrola varuje, když jsou jednotlivé trénovací crawlery blokovány, ale CCBot ne.
doi.org/10.1145/3630106.3659033 · konferenční příspěvek
Dodge, J.; Sap, M.; Marasović, A. a kol. (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Sborník konference Conference on Empirical Methods in Natural Language Processing 2021 (EMNLP 2021), s. 1286–1305
Zjištění Trénovací korpus C4 vznikl z jediného výřezu Common Crawl a obsahuje texty z nečekaných zdrojů, například patentové spisy a vojenské stránky.
V nástroji Dokládá v textu, že trénovací korpusy vznikají z pevných výřezů: co v nich jednou je, pozdější zákaz už nezasáhne.
doi.org/10.18653/v1/2021.emnlp-main.98 · konferenční příspěvek
Aggarwal, P.; Murahari, V.; Rajpurohit, T. a kol. (2024): GEO: Generative Engine Optimization. Sborník 30. konference ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), s. 5–16
Zjištění Obsah lze připravit tak, aby jej AI vyhledávače citovaly až o 40 procent častěji; co funguje, závisí na oboru.
V nástroji Podporuje vymezení: přístup je předpoklad, o citování rozhoduje obsah. Stránka proto odkazuje na AI-SEO.
doi.org/10.1145/3637528.3671900 · konferenční příspěvek
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, s. 7001–7025
Zjištění Ve čtyřech AI vyhledávačích byla v průměru jen o něco více než polovina vět plně pokryta zdroji a přibližně čtvrtina citací danou větu nepodporovala.
V nástroji Podporuje hranici, že volný přístup nezaručuje správnou citaci: kontrola ověřuje čtení, ne odpověď.
doi.org/10.18653/v1/2023.findings-emnlp.467 · konferenční příspěvek
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Sborník konference ACM Internet Measurement Conference 2026 (IMC 2026), s. 529–546
Zjištění Při 55 393 vyhledávacích dotazech se AI přehled objevil ve 13,7 procentech případů, u otázek v 64,7 procentech. Téměř 30 procent citovaných domén nebylo mezi výsledky na první stránce.
V nástroji Vysvětluje, proč je v kontrole Googlebot: AI přehledy vybírají zdroje z indexu, ale nejen z prvních výsledků.
doi.org/10.1145/3777912.3839818 · konferenční příspěvek
Grossman, R.; Liu, S.; Chen, M. K. a kol. (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Sborník 49. mezinárodní konference ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), s. 448–459
Zjištění Při 11 500 vyhledávacích dotazech se zdroje Google vyhledávání, AI přehledu a Gemini výrazně lišily. Weby, které blokují AI crawlery Googlu, byly méně často použity jako zdroj v AI přehledech.
V nástroji Upozornění při blokovaném Google-Extended staví toto zjištění vedle tvrzení Googlu, že přepínač nemá vliv na vyhledávání.
doi.org/10.1145/3805712.3809667 · konferenční příspěvek
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, s. 29–41
Zjištění Měření na přibližně 4 milionech domén ukazuje: robots.txt zůstává nejdůležitějším prostředkem, soubory určené pro AI, jako ai.txt a llms.txt, používají především technologické firmy. Některé odkazy v souborech llms.txt vedou na stránky, které blokuje robots.txt.
V nástroji Z toho vychází kontrola, zda odkazy v llms.txt vedou na blokované stránky.
doi.org/10.1145/3831956.3831960 · odborný časopis
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, článek 106176
Zjištění U generativní AI má ignorování robots.txt závažnější dopady. Práce pro země common law odůvodňuje, že soubor může za určitých okolností působit jako jednostranná smlouva nebo jako upozornění s důsledky pro odpovědnost.
V nástroji Podporuje upozornění, že robots.txt je více než technická věc, s omezením, že právní situaci v Německu je třeba posoudit samostatně.
doi.org/10.1016/j.clsr.2025.106176 · odborný časopis
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, s. 197–214
Zjištění Přibližně 1,68 procenta webů v jednom stažení Common Crawl crawler výslovně odmítlo, často prostřednictvím velkých hostingů a poskytovatelů webových stavebnic, od blokování až po ověřovací stránku.
V nástroji Proto upozornění, když úvodní stránka odpoví ověřovací stránkou: ochrana proti botům blokuje nezávisle na robots.txt.
doi.org/10.1007/978-3-031-85960-1_9 · konferenční příspěvek
Normy, úřady a údaje výrobců
- RFC 9309: Protokol pro vyloučení robotů · IETF, září 2022
- Jak Google vykládá specifikaci robots.txt (stavové kódy, 500 KiB, mezipaměť) · Google Search Central
- Přehled crawlerů OpenAI · OpenAI
- Shromažďuje Anthropic data z webu a jak mohou vlastníci webů crawler zablokovat? · Anthropic
- Běžní crawlery Googlu (Google-Extended) · Google Search Central
- Fetchery Googlu vyvolané uživatelem (Google-Agent) · Google Search Central
- Funkce AI a váš web · Google Search Central
- Crawlery Perplexity · Perplexity
- O Applebotu · Apple, stav k 4. září 2026
- Webové crawlery Meta · Meta
- Amazonbot, Amzn-SearchBot, Amzn-User · Amazon, stav k 26. říjnu 2026
- Váš obsah, vaše volba: jasnější preference pro trénování a grounding · Microsoft Bing, 30. října 2026
- Crawlery Mistral AI · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- Webové crawlery Cohere (v současnosti žádný crawler) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · návrh IETF, 30. října 2026
- Nový způsob řízení trénování AI (trénovací signál) · blog Google Search Central, 30. října 2026
- Snazší vyjádření preferencí pro trénování AI pro weby · OpenAI, 30. října 2026
- Soubor /llms.txt · llmstxt.org, návrh ze 3. září 2024
- § 44b UrhG Text a data mining · gesetze-im-internet.de
12 / DALŠÍ NÁSTROJE
Máte ještě nějakou otázku?
- AT-W2 · Domácnosti a firmy
Kontrola Windows 10
Dostává tento počítač ještě bezpečnostní aktualizace a co je potřeba udělat do října 2027? - AT-W3 · Domácnosti a firmy
Plánovač wifi
Kolik přístupových bodů nebo mesh jednotek potřebuje váš dům, kancelář nebo hala? - AT-W4 · Firmy
Test připravenosti na výpadek IT
Jak rychle by vaše firma po výpadku zase mohla pracovat? - AT-W5 · Firmy
Kontrola e-mailu
Končí vaše e-maily ve spamu? SPF, DKIM a DMARC vaší domény, vysvětlené srozumitelně. - AT-W6 · Firmy
Kalkulačka UPS
Která UPS (USV) udrží server, router a pokladnu při výpadku proudu dost dlouho v chodu? - AT-W8 · Firmy
Prohlížeč XRechnung
Dostali jste fakturu XRechnung jako soubor XML? Tady si ji přečtete, aniž soubor opustí váš počítač.
Pošlete nám zkopírovaný výsledek. Nastavíme robots.txt, llms.txt a strukturovaná data tak, aby AI vyhledávače mohly číst vaše stránky a trénování probíhalo jen tam, kde si to přejete, v Rodewischi i v celém Vogtlandu.
+49 3744 4399760[email protected]Po–Pá 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch