Nástroj AT-W48REV. 2026-A
Tester robots.txt: Smí Googlebot načíst tuto stránku?
O tom, zda smí Googlebot stránku načíst, rozhoduje jediný řádek v souboru robots.txt: nejdelší odpovídající pravidlo ve skupině, která pro tohoto robota platí. Vložte svůj soubor a zadejte cesty nebo celé adresy. Tester pro Googlebot, Bingbot, GPTBot a další roboty ukáže, zda je cesta povolená nebo zakázaná a který řádek rozhodl. Upozorní i na případy, kdy Google vykládá pravidlo jinak než norma.
- zdarma
- bez registrace
- Text zůstává v prohlížeči
01 / KONTROLA
Vložte robots.txt a zkontrolujte jednotlivé cesty
Tester · robots.txt podle RFC 9309
Tester vyhodnocuje pravidla podle RFC 9309 a zohledňuje doložené zvláštnosti jednotlivých robotů. Zda se robot pravidlem řídí, závisí na jeho provozovateli.
02 / PRAVIDLA
Jak se robot rozhoduje, zda stránku načte
Od září 2022 tento postup stanovuje RFC 9309. Předtím šlo o dohodu z roku 1994, kterou velcí roboti dodržovali různě důsledně Sun a kol. 2010. Tester postupuje podle RFC v tomto pořadí:
- Soubor. Leží na adrese /robots.txt v kořenovém adresáři a platí jen pro daného hostitele se stejným protokolem a portem. Soubor na ihre-firma.de neplatí pro www.ihre-firma.de ani shop.ihre-firma.de.
- Skupina. Robot hledá skupinu se svým názvem, bez ohledu na velikost písmen. Více skupin se stejným názvem se sloučí. Pokud žádnou vlastní skupinu nenajde, platí „User-agent: *“. Jestliže chybí i ta, je povoleno vše.
- Pravidlo. Ve skupině rozhoduje nejdelší řádek Allow nebo Disallow, který odpovídá začátku cesty. Při stejné délce má přednost Allow. Na pořadí řádků nezáleží.
- Znaky. Hvězdička zastupuje libovolný počet znaků a znak $ na konci označuje konec adresy. V cestě záleží na velikosti písmen. Znaky s přehláskou robot porovnává v procentním kódování, takže „/über“ a „/%C3%BCber“ jsou totéž.
- Výjimka. Samotný soubor robots.txt si může stáhnout kdokoli. Řádky Sitemap platí nezávisle na skupinách.
Kterým cestám vzor odpovídá
| Vzor | odpovídá | neodpovídá |
|---|---|---|
| /fisch | /fisch, /fisch.html, /fischkopf/rezept | /Fisch, /katalog/fisch |
| /fisch/ | /fisch/, /fisch/?sorte=lachs | /fisch, /fisch.html |
| /*.php | /index.php, /ordner/seite.php?id=1 | /, /seite.PHP |
| /*.php$ | /seite.php | /seite.php?id=1, /seite.php5 |
| /*?s= | /?s=preise, /blog/?s=test | /blog/?seite=2 |
Porovnání vždy začíná na začátku cesty. Proto /fisch neodpovídá /katalog/fisch. Pokud má vzor platit kdekoli v cestě, přidejte před něj hvězdičku.
Rozhoduje nejdelší pravidlo
V příkladu skupina zakazuje obchod a povoluje nabídky. Pro /shop/angebote/herbst tester zobrazí: Povoleno řádkem 3 „Allow: /shop/angebote/“ ve skupině „User-agent: *“. S 15 znaky jde o nejdelší ze 2 odpovídajících pravidel. Pro /shop/kasse je přístup zakázaný, protože odpovídá pouze kratší pravidlo.
Komerční roboti některá pravidla dlouho opakovaně porušovali nebo nesprávně vykládali Giles a kol. 2010. Od vydání RFC je postup jednoznačný. Někteří roboti se však normou neřídí. Tester proto upozorňuje na řádky, které různí roboti čtou odlišně.
User-agent: * Disallow: /shop/ Allow: /shop/angebote/
Nejčastější past: skupiny nic nedědí
Pokud má robot vlastní skupinu, společná skupina pro něj přestává platit v celém rozsahu. V příkladu má být /intern/ zakázaná všem, ale Googlebot dostane vlastní skupinu pro koncepty. Výsledek pro /intern/preise: pro Bingbot je cesta zakázaná a pro Googlebot povolená. Pravidlo, které má platit pro všechny, proto patří do každé pojmenované skupiny.
Pojmenované skupiny jsou běžné. V průzkumu 2 925 souborů robots.txt měly velké vyhledávače díky vlastním skupinám většinou širší přístup než ostatní Sun a kol. 2007b. Pozdější průzkum přibližně 6 milionů webů nezjistil výrazné zvýhodňování Kolay a kol. 2008. Ať už je rozdíl záměrný, nebo ne, tester u každého vybraného robota ukáže platnou skupinu a v přehledu uvede, pro koho jednotlivé skupiny platí.
User-agent: * Disallow: /intern/ User-agent: Googlebot Disallow: /entwurf/
03 / GOOGLE
Kde Google čte soubor robots.txt jinak než norma
Google se podílel na tvorbě RFC a v zásadě se jím řídí. V některých případech však jeho parser postupuje volněji nebo přísněji. Vlastní dokumentace popisuje i případy, které RFC nechává otevřené. Tester vyhodnocuje pravidla podle RFC a na každý z těchto rozdílů upozorní, abyste mohli vytvořit soubor se stejným účinkem pro všechny roboty.
| Oblast | RFC 9309 | |
|---|---|---|
| Velikost souboru | načte alespoň 500 KiB | nejvýše 500 KiB, zbytek se ignoruje |
| Mezipaměť | nejvýše 24 hodin, pokud je soubor dostupný | obvykle až 24 hodin, při neúspěšné aktualizaci déle |
| Přesměrování | následuje nejméně pět | nejméně pět, poté jako 404 |
| 404 a jiné 4xx | žádná robots.txt, vše povoleno | stejně, s výjimkou 429 |
| 5xx nebo nedostupné | vše zakázáno, po delší době (například 30 dní) se použije uložená verze nebo se postupuje jako bez souboru | 12 hodin bez procházení, poté až 30 dní poslední funkční verze (bez ní žádné omezení). Následně se postupuje jako bez souboru, pokud je web jinak dostupný |
| Pokyny | user-agent, allow, disallow. Robot může vyhodnocovat i další řádky, například sitemap | pouze user-agent, allow, disallow a sitemap. Pokyny noindex, nofollow a crawl-delay nemají od 1. září 2019 účinek |
| Překlepy, chybějící dvojtečka | řádek se nevyhodnotí | parser Googlu přesto přečte některé překlepy, například „Disalow“, a řádky bez dvojtečky |
| Název s příponou | názvy obsahují pouze písmena a znaky - a _ | „googlebot/1.2“ a „googlebot*“ se považují za „googlebot“ |
| Přehlasované znaky a zvláštní znaky | před porovnáním převést do procentního kódování | porovnává v procentním kódování |
| Mapa webu | robot ji může vyhodnotit | úplná adresa s protokolem a hostitelem, může být i na jiném hostiteli |
Zdroje: RFC 9309, dokumentace Googlu k robots.txt (stav k 23. říjnu 2026), blog Googlu z 2. července 2019, parser Googlu. Ověřeno 14. listopadu 2026.
Další vyhledávače mají vlastní zvláštnosti. Bing respektuje Crawl-delay a bez vlastní skupiny bingbot čte skupinu msnbot. Yandex pokyn Crawl-delay od 22. února 2018 nevyhodnocuje a pro všechny své roboty používá skupinu „User-agent: Yandex“. Robot Applu bez vlastní skupiny používá skupinu Googlebot. Reklamní roboti Googlu společnou skupinu zcela ignorují. Tabulka níže uvádí, jak tyto případy vyhodnocuje tester.
04 / ROBOTI
Které názvy patří do souboru robots.txt
Na řádek User-agent patří produktový token, tedy krátký název, který provozovatel uvádí pro robots.txt, například „Googlebot“, nikoli celý identifikátor uvedený v protokolu serveru. Tester uvádí jen názvy doložené provozovateli a zvláštní případy vyhodnocuje tam, kde jsou popsané v dokumentaci.
| Název v robots.txt | Provozovatel | K čemu slouží | Zvláštnost |
|---|---|---|---|
| Googlebot | Vyhledávání Google včetně přehledů AI | Bez vlastní skupiny platí „*“. | |
| Googlebot-Image | Obrázky Google | Bez vlastní skupiny se řídí skupinou Googlebot. | |
| bingbot | Microsoft | Bing a Copilot | Bez vlastní skupiny se řídí skupinou msnbot a teprve potom skupinou „*“. Respektuje Crawl-delay. |
| Applebot | Apple | Siri, Spotlight, Safari | Bez vlastní skupiny se řídí skupinou Googlebot. |
| DuckDuckBot | DuckDuckGo | vlastní index služby DuckDuckGo | Bez vlastní skupiny platí „*“. |
| YandexBot | Yandex | vyhledávání Yandex | Bez vlastní skupiny se řídí skupinou Yandex. Crawl-delay už od února 2018 nemá účinek. |
| Storebot-Google | Google Shopping | Google náhradní skupinu neuvádí. Tester podle RFC 9309 použije „*“. | |
| AdsBot-Google | Kontroluje cílové stránky Google Ads | Skupinu „*“ ignoruje. Zablokovat ho lze jen ve vlastní skupině. | |
| Mediapartners-Google | AdSense a Ad Manager | Skupinu „*“ ignoruje. Zablokovat ho lze jen ve vlastní skupině. |
Dále je tu 24 identifikátorů poskytovatelů AI. Patří mezi ně GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot a Claude-User. Od roku 2023 weby čím dál častěji omezují přístup poskytovatelům AI. Podmínky používání a soubor robots.txt si přitom často odporují Longpre a kol. 2024. Měření na přibližně 4 milionech domén ukazuje, že hlavním nástrojem zůstává robots.txt a přístup agentů AI se v něm většinou omezuje pomocí Disallow Hoffmann a kol. 2026. K čemu jednotliví roboti AI načítají stránky, najdete v nástroji Kontrola robotů AI. Ten zároveň načte skutečný soubor robots.txt vašeho webu.
05 / TVORBA SOUBORU
Vytvořte robots.txt pro běžné případy
K vytvoření souboru robots.txt obvykle nechcete studovat odborné pojmy. Z průzkumu mezi 203 umělci vyplynul velký zájem o tento soubor, ale často chyběly znalosti nebo přístup k vlastnímu webu Liu a kol. 2025. Generátor se proto ptá jen na to, co mají roboti smět načíst, a vytváří jednoduché řádky Allow a Disallow. Tlačítko „Zkontrolovat v testeru“ přenese text do testeru výše.
Generátor · robots.txt pro běžné případy
Soubor robots.txt nastavuje pouze pravidla pro procházení webu. Soubor je veřejný, takže žádná data nechrání. Z indexu Googlu stránku neodstraní. Zakázaná adresa se může ve výsledcích objevit bez popisu, pokud na ni odkazují jiné stránky.
Generátor běží v prohlížeči a žádná data neodesílá. Soubor uložte pod názvem robots.txt do kořenového adresáře. Každá subdoména má vlastní soubor.
Řádek Sitemap se vyplatí téměř vždy. Procházení odkazů a mapa webu se doplňují. Ve vzorku miliard adres u Googlu pomohla mapa webu dříve objevit stránky bez příchozích odkazů a nový obsah Schonfeld a Shivakumar 2009. Na řádku musí být úplná adresa. Platí pro všechny skupiny.
06 / MEZE
Co robots.txt neumí
- Z indexu nic neodstraní. Podle Googlu není robots.txt prostředek k odstranění stránky z Googlu. Zakázaná adresa, na kterou odkazují jiné stránky, se ve výsledcích může objevit bez popisu. K odstranění slouží noindex. Google tento pokyn uvidí pouze tehdy, když smí stránku načíst.
- Nic nechrání. Soubor je veřejný a uvádí zakázané cesty. Norma RFC výslovně říká, že nenahrazuje řízení přístupu. Zda robot pravidla dodrží, závisí na rozhodnutí jeho provozovatele Thelwall a Stuart 2006. Důvěrný obsah chraňte heslem.
- Jde o žádost. Už první velké průzkumy popsaly soubor jako pravidlo, které ohleduplní roboti dodržují dobrovolně Sun a kol. 2007a. V pokusech se 130 pojmenovanými roboty během 40 dnů roboti přísnější pravidla dodržovali méně často. Vyhledávací roboti AI si soubor často vůbec nenačetli Kim a kol. 2025.
- Pravidlo závisí na názvu robota. Žádná z běžných metod nedokáže roboty obecně rozpoznat spolehlivě Doran a Gokhale 2011. Pravidlo pro konkrétního robota se neuplatní, pokud se představí jiným jménem.
- Vynucené blokování nastavte na serveru. Blokování na reverzní proxy chránilo před roboty AI účinněji než robots.txt Liu a kol. 2025. Někteří poskytovatelé hostingu a tvůrci webů naopak roboty odmítají dříve, než se soubor robots.txt vůbec použije. Ve vzorku Common Crawl šlo asi o 1,68 % webů Ansar a kol. 2025. V takovém případě nepomůže ani řádek Allow.
- Tester vyhodnocuje vložený text. Zda váš server skutečně vrací stejný soubor jako text se stavem 200, ověří Kontrola robotů AI přímým načtením.
Tester řeší první krok. Zda jsou vaše stránky opravdu na Googlu a případně proč chybí, ukáže rychlá kontrola SpotLens. První kroky k vlastní kontrole najdete v rádci Web se nezobrazuje na Googlu. Na stránce SEO popisujeme, jak zlepšujeme dohledatelnost webů v Rodewischi a ve Vogtlandu. Další nástroje najdete v části SEO a viditelnost.
07 / PRO ASISTENTY AI
Jak tento nástroj použít z AI asistenta
Asistenti jako Claude nebo ChatGPT, kteří umějí Model Context Protocol (MCP), si mohou výpočet z této stránky zavolat přímo, místo aby ho napodobovali. Server je veřejný, nevyžaduje přihlášení a nic neukládá. Odpověď vždy obsahuje odkaz na tuto stránku, datum, ke kterému data platí, a meze výsledku.
- Endpoint
https://aureum-tech.com/mcp- Nástroj
werkzeug_robots_txt_tester- Přenos
- Streamable HTTP, jen pro čtení
| Název | Povinné | Význam |
|---|---|---|
robots_txt | ano | Úplný text souboru robots.txt tak, jak je uveden na adrese /robots.txt. |
pfade | ne | Až 50 cest nebo celých adres URL, například „/kontakt“ nebo „https://www.firma.de/blog?seite=2“. Z adres URL se vyhodnocuje cesta a parametry dotazu. Výchozí hodnota je „/“. |
crawler | ne | Produktové tokeny robotů, například Googlebot, bingbot, GPTBot. „*“ označuje každého robota bez vlastní skupiny. Nástroj zná Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider a *. Ostatní názvy se vyhodnocují podle RFC 9309. Výchozí hodnoty: Googlebot, bingbot, GPTBot, ClaudeBot, *. |
Otázky, při kterých by ho měl asistent zavolat
- „Smí Googlebot podle tohoto souboru robots.txt načíst /wp-admin/admin-ajax.php?“
- „Proč zákaz ve skupině ‚User-agent: *‘ neplatí pro GPTBot?“
- „Který řádek v mém souboru robots.txt zakazuje https://www.firma.de/shop?sort=preis pro Bingbot?“
- „Je ‚Disalow: /intern/‘ v mém souboru robots.txt chyba a přečte Google tento řádek i tak?“
Jak napojení funguje a co MCP zvládne ve vaší firmě, najdete na stránce Integrace MCP.
08 / ČASTÉ DOTAZY
Časté dotazy k souboru robots.txt
Odstraní pravidlo „Disallow“ stránku z indexu Googlu?
Ne. Disallow pouze zakazuje stažení stránky. Pokud na adresu odkazují jiné stránky, Google ji může zařadit do výsledků i tak, ale bez popisu. Aby stránka zmizela, musí ji Google smět načíst a najít pokyn noindex v metaznačce nebo v hlavičce X-Robots-Tag. Další možností je, aby stránka vracela stav 404 či 410 nebo byla chráněná heslem. Pokud přístup zakážete a zároveň použijete noindex, Google si pokyn noindex nepřečte.
Proč zákaz ve skupině „User-agent: *“ neplatí pro Googlebot?
Protože Googlebot má vlastní skupinu. Robot se řídí skupinou se svým názvem. Společnou skupinu „*“ použije, jen když vlastní skupinu nenajde. Zákaz ze společné skupiny proto zopakujte i v každé pojmenované skupině. Tester u každého výsledku ukáže, která skupina platí.
Které pravidlo má přednost, když se na stejnou cestu vztahuje Allow i Disallow?
Rozhodne delší pravidlo, měřeno počtem znaků. Při stejné délce má přednost Allow. Na pořadí v souboru nezáleží. Při kombinaci „Disallow: /shop/“ a „Allow: /shop/angebote/“ zůstane /shop/angebote/ přístupná a zbytek obchodu zablokovaný.
Za jak dlouho se u Googlu projeví změna souboru robots.txt?
Google soubor obvykle uchovává až 24 hodin. Pokud se aktualizace nezdaří, může jej uchovávat déle. Do té doby platí stará pravidla. Změnu si proto nejdřív ověřte zde a pak soubor nahrajte.
Mohu pomocí robots.txt ochránit důvěrné části webu?
Ne. Soubor je veřejný, může si ho otevřít kdokoli a zakázané cesty v něm jsou vidět. Už samotná norma říká, že soubor nenahrazuje řízení přístupu. Důvěrné informace na serveru chraňte přihlášením nebo heslem.
Řídí se Google pokyny Crawl-delay nebo Noindex v souboru robots.txt?
Ne. Google čte pouze user-agent, allow, disallow a sitemap. Pokyny noindex, nofollow a crawl-delay v souboru robots.txt nemají u Googlu od 1. září 2019 žádný účinek. Bing se pokynem Crawl-delay řídí, Yandex od února 2018 už ne a Applebot jej nepoužívá. Tester takové řádky označí.
Co tester robots.txt neověřuje?
Tester vyhodnotí vložený text podle RFC 9309 a doložených zvláštností jednotlivých robotů. Zda váš server skutečně posílá právě tento soubor, ověří Kontrola robotů AI přímým načtením. Rychlá kontrola SpotLens ukáže, které stránky jsou v indexu a kde je problém, pokud v něm chybí. Překážky, kvůli kterým se stránky nedostanou do Googlu, vám na požádání pomůžeme odstranit.
09 / STUDIE A ZDROJE
O co se nástroj opírá
Výše uvedené hodnoty a doporučení vycházejí z těchto 13 vědeckých prací. U každé jsme podle DOI nebo na stránce vydavatele ověřili, že existuje, nebyla stažena a její závěry jsou pro danou otázku stále použitelné. Naposledy ověřeno 14. listopadu 2026.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), s. 1123–1124
Zjištění Pět po sobě následujících průzkumů na 7 593 webech ukazuje, že se robots.txt používá čím dál častěji. Soubor pravidla nevynucuje. Dodržují je ohleduplní roboti.
V nástroji Podkládá upozornění nad každým výsledkem: robots.txt žádá roboty, aby dodržovali pravidla. K uzamčení obsahu slouží ochrana přístupu.
doi.org/10.1145/1242572.1242726 · konferenční příspěvek
Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), s. 149–155
Zjištění Ve 2 925 souborech robots.txt měli roboti velkých vyhledávačů díky vlastním skupinám zpravidla širší přístup. Míra tohoto zvýhodnění úzce souvisela s podílem na trhu.
V nástroji Tester proto porovnává více robotů vedle sebe a ukazuje, která skupina pro koho platí. Rozdíly vznikají v pojmenovaných skupinách.
doi.org/10.1109/WI.2007.98 · konferenční příspěvek
Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), s. 1171–1172
Zjištění Průzkum přibližně 6 milionů webů nezjistil výrazné zvýhodnění konkrétního vyhledávače. Menší studie z roku 2007 dospěla k odlišnému závěru.
V nástroji Text vysvětluje, proč se zjištění o zvýhodňování liší podle vzorku. Tester ukazuje platnou skupinu pro každého robota a rozdíly ponechává k posouzení uživateli.
doi.org/10.1145/1367497.1367711 · konferenční příspěvek
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), s. 1101–1102
Zjištění Většina komerčních crawlerů pravidla dodržovala, mnozí však určitá pravidla robots.txt opakovaně porušovali nebo jim nerozuměli.
V nástroji Tester proto upozorňuje na řádky, které roboti čtou různě. Generátor vytváří jen jednoduché řádky Allow a Disallow.
doi.org/10.1145/1772690.1772824 · konferenční příspěvek
Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), s. 668–675
Zjištění Chování mnoha robotů se měřilo na testovacích stránkách, z nichž každá měla jiné pravidlo robots.txt. Míra dodržování se výrazně lišila. Mnoho komerčních robotů některá pravidla pravidelně porušovalo.
V nástroji Tester vyhodnocuje pravidlo. Zda se jím robot skutečně řídí, lze zjistit jedině z protokolu serveru.
doi.org/10.1109/WI-IAT.2010.316 · konferenční příspěvek
Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), s. 1771–1779
Zjištění Práce třídí dopady procházení webů na provozovatele podle nákladů, soukromí a přetížení. Provozovatel robota musí posoudit přijatelnost procházení v každém jednotlivém případě.
V nástroji Práce vysvětluje, proč tester u důvěrných částí doporučuje ochranu heslem. Řádek Disallow přístup nevynucuje.
doi.org/10.1002/asi.20388 · odborný časopis
Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), s. 991–1000
Zjištění Porovnání procházení odkazů a map webů na miliardách adres u Googlu ukazuje, že se obě metody doplňují. Mapy webu pomáhají dřív objevit stránky bez příchozích odkazů a nový obsah.
V nástroji Tester proto uvádí řádky Sitemap zvlášť a ověřuje, zda obsahují úplné adresy. Generátor umí řádek Sitemap přidat.
doi.org/10.1145/1526709.1526842 · konferenční příspěvek
Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), s. 183–210
Zjištění Ze srovnání běžných metod rozpoznávání robotů vyplývá, že žádná nefunguje obecně spolehlivě. Někteří roboti se chovají nevhodně nebo výrazně zatěžují server.
V nástroji Podkládá omezení rozpoznávání robotů. Pravidlo působí jen na roboty, kteří uvedou svůj název a řídí se jím.
doi.org/10.1007/s10618-010-0180-z · přehledová studie
Kim, T.; Bock, K.; Luo, C. et al. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 541–557
Zjištění V kontrolovaných pokusech se 130 pojmenovanými roboty během 40 dnů roboti méně často dodržovali přísnější pravidla. Vyhledávací roboti AI si soubor robots.txt často vůbec nenačetli.
V nástroji U každého výsledku „zakázáno“ proto najdete upozornění, že zákaz má povahu žádosti. Při volbě „Nic“ generátor doporučí nastavit skutečnou ochranu na serveru.
doi.org/10.1145/3730567.3764471 · konferenční příspěvek
Longpre, S.; Mahari, R.; Lee, A. a kol. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), s. 108042–108087
Zjištění Kontrola 14 000 domén, z nichž pocházejí data pro trénování AI, zjistila během jednoho roku výrazný nárůst blokování, velké rozdíly mezi poskytovateli AI a časté rozpory mezi podmínkami použití a robots.txt.
V nástroji Roboty AI proto lze vybírat jednotlivě. Tester u otázky, zda povolit trénování, odkazuje na Kontrolu robotů AI.
doi.org/10.52202/079017-3431 · konferenční příspěvek
Liu, E.; Luo, E.; Shan, S. a kol. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Sborník konference ACM Internet Measurement Conference 2025 (IMC 2025), s. 78–99
Zjištění Měření a průzkum mezi 203 umělci ukázaly velký zájem o robots.txt. Překážkou byly odborné znalosti a přístup k vlastnímu webu. Blokování na reverzní proxy chránilo účinněji.
V nástroji Proto generátor pokrývá běžné případy bez odborných pojmů a pro vynucené blokování doporučuje zapojit poskytovatele hostingu.
doi.org/10.1145/3730567.3732913 · konferenční příspěvek
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), s. 29–41
Zjištění Měření na přibližně 4 milionech domén ukazuje, že robots.txt zůstává hlavním nástrojem k povolení nebo zákazu přístupu robotů. Agenty AI omezuje především pomocí řádků Disallow.
V nástroji To vysvětluje, proč se tester soustředí na robots.txt a kontroluje identifikátory AI stejně jako roboty vyhledávačů.
doi.org/10.1145/3831956.3831960 · odborný časopis
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, s. 197–214
Zjištění Přibližně 1,68 procenta webů v jednom stažení Common Crawl crawler výslovně odmítlo, často prostřednictvím velkých hostingů a poskytovatelů webových stavebnic, od blokování až po ověřovací stránku.
V nástroji Povolení v robots.txt nepomůže, pokud robota předem odmítne poskytovatel hostingu nebo ochrana proti botům.
doi.org/10.1007/978-3-031-85960-1_9 · konferenční příspěvek
Normy, úřady a údaje výrobců
- RFC 9309: Protokol pro vyloučení robotů · IETF, září 2022
- How Google interprets the robots.txt specification · Google Search Central, stav k 23. říjnu 2026
- Introduction to robots.txt · Google Search Central
- Block Search indexing with noindex · Google Search Central
- A note on unsupported rules in robots.txt · Google Search Central Blog, 2. července 2019
- Google common crawlers · Google Search Central
- Google special-case crawlers (AdsBot, Mediapartners) · Google Search Central
- google/robotstxt: parser robots.txt od Googlu (překlepy, Googlebot-Image) · Google, GitHub
- To crawl or not to crawl, that is BingBot’s question · Bing Webmaster Blog, 3. května 2012
- O Applebotu · Apple, stav k 4. září 2026
- DuckDuckBot · DuckDuckGo
- The User-agent directive · Yandex Webmaster
- The Crawl-delay directive · Yandex Webmaster
- WordPress: do_robots() in wp-includes/functions.php · WordPress, GitHub
10 / DALŠÍ NÁSTROJE
Máte ještě nějakou otázku?
- AT-W42 · Firmy
Náhled snippetu
Jak vypadá vaše stránka na Googlu? Titulek a popis včetně šířky v pixelech, pro počítač i mobil. - AT-W43 · Firmy
Generátor schématu
Strukturovaná data pro vaši firmu: LocalBusiness, otevírací doba a FAQ jako JSON-LD ke vložení. - AT-W44 · Firmy
Kontrola firemního profilu
Je váš firemní profil na Googlu úplný? Co chybí, seřazeno podle dopadu. - AT-W45 · Firmy
Kontrola NAP
Jsou název, adresa a telefonní číslo všude uvedené stejně? Porovnejte zápisy z katalogů firem. - AT-W46 · Firmy
Třídič klíčových slov
Která hledaná slova patří k sobě a co hledající chce? Seznamy seřazené podle tématu a záměru hledání. - AT-W47 · Domácnosti a firmy
Kontrola čitelnosti
Jak srozumitelný je váš text? Index čitelnosti pro němčinu, dlouhé věty a těžká slova zvýrazněné.
Pošlete nám zkopírovaný výsledek. Zkontrolujeme robots.txt a mapu vašeho webu a odstraníme překážky, kvůli kterým se stránky nedostanou do Googlu. Pracujeme v Rodewischi a po celém Vogtlandu.
+49 3744 4399760[email protected]Po–Pá 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch