Nástroj AT-W48REV. 2026-A

Tester robots.txt: Smí Googlebot načíst tuto stránku?

O tom, zda smí Googlebot stránku načíst, rozhoduje jediný řádek v souboru robots.txt: nejdelší odpovídající pravidlo ve skupině, která pro tohoto robota platí. Vložte svůj soubor a zadejte cesty nebo celé adresy. Tester pro Googlebot, Bingbot, GPTBot a další roboty ukáže, zda je cesta povolená nebo zakázaná a který řádek rozhodl. Upozorní i na případy, kdy Google vykládá pravidlo jinak než norma.

  • zdarma
  • bez registrace
  • Text zůstává v prohlížeči

Vložte robots.txt a zkontrolujte jednotlivé cesty

Tester · robots.txt podle RFC 9309

Tester vyhodnocuje pravidla podle RFC 9309 a zohledňuje doložené zvláštnosti jednotlivých robotů. Zda se robot pravidlem řídí, závisí na jeho provozovateli.

Otevřete v prohlížeči ihre-firma.de/robots.txt a zkopírujte celý text. Soubor můžete načíst i přes Kontrolu robotů AI.

Až 50 položek. Z celé adresy se vyhodnocuje cesta a parametry, například /shop?sort=preis.

Pro které roboty?
Vyhledávače · 6
Další roboti Googlu · 3
Roboti AI · 24

Zadejte název, který provozovatel uvádí pro robots.txt (produktový token), nikoli celý identifikátor prohlížeče.

Tester funguje v prohlížeči. Text ani adresy neopustí vaše zařízení.

Výsledek

Vložte svůj soubor robots.txt a zadejte cesty. Nástroj si můžete vyzkoušet na příkladu.

Jak se robot rozhoduje, zda stránku načte

Od září 2022 tento postup stanovuje RFC 9309. Předtím šlo o dohodu z roku 1994, kterou velcí roboti dodržovali různě důsledně Sun a kol. 2010. Tester postupuje podle RFC v tomto pořadí:

  1. Soubor. Leží na adrese /robots.txt v kořenovém adresáři a platí jen pro daného hostitele se stejným protokolem a portem. Soubor na ihre-firma.de neplatí pro www.ihre-firma.de ani shop.ihre-firma.de.
  2. Skupina. Robot hledá skupinu se svým názvem, bez ohledu na velikost písmen. Více skupin se stejným názvem se sloučí. Pokud žádnou vlastní skupinu nenajde, platí „User-agent: *“. Jestliže chybí i ta, je povoleno vše.
  3. Pravidlo. Ve skupině rozhoduje nejdelší řádek Allow nebo Disallow, který odpovídá začátku cesty. Při stejné délce má přednost Allow. Na pořadí řádků nezáleží.
  4. Znaky. Hvězdička zastupuje libovolný počet znaků a znak $ na konci označuje konec adresy. V cestě záleží na velikosti písmen. Znaky s přehláskou robot porovnává v procentním kódování, takže „/über“ a „/%C3%BCber“ jsou totéž.
  5. Výjimka. Samotný soubor robots.txt si může stáhnout kdokoli. Řádky Sitemap platí nezávisle na skupinách.
KTERÁ SKUPINA PLATÍ?ROBOT/robots.txtVLASTNÍSKUPINAJINAK SKUPINA*JINAK VŠEPOVOLENOKTERÉ PRAVIDLO PLATÍ?CESTAODPOVÍDAJÍCÍ PRAVIDLANEJDELŠÍROZHODUJE, PŘISHODĚ: ALLOWPOVOLENO NEBOUZAMČENÁKTERÁ SKUPINA PLATÍ?ROBOT/robots.txtVLASTNÍ SKUPINAJINAK SKUPINA *JINAK VŠE POVOLENOKTERÉ PRAVIDLO PLATÍ?CESTAODPOVÍDAJÍCÍ PRAVIDLANEJDELŠÍ ROZHODUJE, PŘI SHODĚSHODĚ: ALLOWPOVOLENO NEBO ZAKÁZÁNO
OBR. 1 · JAK ROBOT ČTE SOUBOR ROBOTS.TXTZLATÁ = VÁŠ SOUBOR · DVĚ OTÁZKY V DANÉM POŘADÍ

Kterým cestám vzor odpovídá

Příklady vyhodnocené stejnou funkcí, jakou používá tester
Vzorodpovídáneodpovídá
/fisch/fisch, /fisch.html, /fischkopf/rezept/Fisch, /katalog/fisch
/fisch//fisch/, /fisch/?sorte=lachs/fisch, /fisch.html
/*.php/index.php, /ordner/seite.php?id=1/, /seite.PHP
/*.php$/seite.php/seite.php?id=1, /seite.php5
/*?s=/?s=preise, /blog/?s=test/blog/?seite=2

Porovnání vždy začíná na začátku cesty. Proto /fisch neodpovídá /katalog/fisch. Pokud má vzor platit kdekoli v cestě, přidejte před něj hvězdičku.

Rozhoduje nejdelší pravidlo

V příkladu skupina zakazuje obchod a povoluje nabídky. Pro /shop/angebote/herbst tester zobrazí: Povoleno řádkem 3 „Allow: /shop/angebote/“ ve skupině „User-agent: *“. S 15 znaky jde o nejdelší ze 2 odpovídajících pravidel. Pro /shop/kasse je přístup zakázaný, protože odpovídá pouze kratší pravidlo.

Komerční roboti některá pravidla dlouho opakovaně porušovali nebo nesprávně vykládali Giles a kol. 2010. Od vydání RFC je postup jednoznačný. Někteří roboti se však normou neřídí. Tester proto upozorňuje na řádky, které různí roboti čtou odlišně.

User-agent: *
Disallow: /shop/
Allow: /shop/angebote/

Nejčastější past: skupiny nic nedědí

Pokud má robot vlastní skupinu, společná skupina pro něj přestává platit v celém rozsahu. V příkladu má být /intern/ zakázaná všem, ale Googlebot dostane vlastní skupinu pro koncepty. Výsledek pro /intern/preise: pro Bingbot je cesta zakázaná a pro Googlebot povolená. Pravidlo, které má platit pro všechny, proto patří do každé pojmenované skupiny.

Pojmenované skupiny jsou běžné. V průzkumu 2 925 souborů robots.txt měly velké vyhledávače díky vlastním skupinám většinou širší přístup než ostatní Sun a kol. 2007b. Pozdější průzkum přibližně 6 milionů webů nezjistil výrazné zvýhodňování Kolay a kol. 2008. Ať už je rozdíl záměrný, nebo ne, tester u každého vybraného robota ukáže platnou skupinu a v přehledu uvede, pro koho jednotlivé skupiny platí.

User-agent: *
Disallow: /intern/

User-agent: Googlebot
Disallow: /entwurf/

Kde Google čte soubor robots.txt jinak než norma

Google se podílel na tvorbě RFC a v zásadě se jím řídí. V některých případech však jeho parser postupuje volněji nebo přísněji. Vlastní dokumentace popisuje i případy, které RFC nechává otevřené. Tester vyhodnocuje pravidla podle RFC a na každý z těchto rozdílů upozorní, abyste mohli vytvořit soubor se stejným účinkem pro všechny roboty.

Srovnání RFC 9309 a Googlu podle dokumentace Googlu k 23. říjnu 2026
OblastRFC 9309Google
Velikost souborunačte alespoň 500 KiBnejvýše 500 KiB, zbytek se ignoruje
Mezipaměťnejvýše 24 hodin, pokud je soubor dostupnýobvykle až 24 hodin, při neúspěšné aktualizaci déle
Přesměrovánínásleduje nejméně pětnejméně pět, poté jako 404
404 a jiné 4xxžádná robots.txt, vše povolenostejně, s výjimkou 429
5xx nebo nedostupnévše zakázáno, po delší době (například 30 dní) se použije uložená verze nebo se postupuje jako bez souboru12 hodin bez procházení, poté až 30 dní poslední funkční verze (bez ní žádné omezení). Následně se postupuje jako bez souboru, pokud je web jinak dostupný
Pokynyuser-agent, allow, disallow. Robot může vyhodnocovat i další řádky, například sitemappouze user-agent, allow, disallow a sitemap. Pokyny noindex, nofollow a crawl-delay nemají od 1. září 2019 účinek
Překlepy, chybějící dvojtečkařádek se nevyhodnotíparser Googlu přesto přečte některé překlepy, například „Disalow“, a řádky bez dvojtečky
Název s příponounázvy obsahují pouze písmena a znaky - a _„googlebot/1.2“ a „googlebot*“ se považují za „googlebot“
Přehlasované znaky a zvláštní znakypřed porovnáním převést do procentního kódováníporovnává v procentním kódování
Mapa weburobot ji může vyhodnotitúplná adresa s protokolem a hostitelem, může být i na jiném hostiteli

Zdroje: RFC 9309, dokumentace Googlu k robots.txt (stav k 23. říjnu 2026), blog Googlu z 2. července 2019, parser Googlu. Ověřeno 14. listopadu 2026.

Další vyhledávače mají vlastní zvláštnosti. Bing respektuje Crawl-delay a bez vlastní skupiny bingbot čte skupinu msnbot. Yandex pokyn Crawl-delay od 22. února 2018 nevyhodnocuje a pro všechny své roboty používá skupinu „User-agent: Yandex“. Robot Applu bez vlastní skupiny používá skupinu Googlebot. Reklamní roboti Googlu společnou skupinu zcela ignorují. Tabulka níže uvádí, jak tyto případy vyhodnocuje tester.

Které názvy patří do souboru robots.txt

Na řádek User-agent patří produktový token, tedy krátký název, který provozovatel uvádí pro robots.txt, například „Googlebot“, nikoli celý identifikátor uvedený v protokolu serveru. Tester uvádí jen názvy doložené provozovateli a zvláštní případy vyhodnocuje tam, kde jsou popsané v dokumentaci.

Vyhledávače a roboti Googlu, ověřeno 14. listopadu 2026 podle dokumentace provozovatelů
Název v robots.txtProvozovatelK čemu sloužíZvláštnost
GooglebotGoogleVyhledávání Google včetně přehledů AIBez vlastní skupiny platí „*“.
Googlebot-ImageGoogleObrázky GoogleBez vlastní skupiny se řídí skupinou Googlebot.
bingbotMicrosoftBing a CopilotBez vlastní skupiny se řídí skupinou msnbot a teprve potom skupinou „*“. Respektuje Crawl-delay.
ApplebotAppleSiri, Spotlight, SafariBez vlastní skupiny se řídí skupinou Googlebot.
DuckDuckBotDuckDuckGovlastní index služby DuckDuckGoBez vlastní skupiny platí „*“.
YandexBotYandexvyhledávání YandexBez vlastní skupiny se řídí skupinou Yandex. Crawl-delay už od února 2018 nemá účinek.
Storebot-GoogleGoogleGoogle ShoppingGoogle náhradní skupinu neuvádí. Tester podle RFC 9309 použije „*“.
AdsBot-GoogleGoogleKontroluje cílové stránky Google AdsSkupinu „*“ ignoruje. Zablokovat ho lze jen ve vlastní skupině.
Mediapartners-GoogleGoogleAdSense a Ad ManagerSkupinu „*“ ignoruje. Zablokovat ho lze jen ve vlastní skupině.

Dále je tu 24 identifikátorů poskytovatelů AI. Patří mezi ně GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot a Claude-User. Od roku 2023 weby čím dál častěji omezují přístup poskytovatelům AI. Podmínky používání a soubor robots.txt si přitom často odporují Longpre a kol. 2024. Měření na přibližně 4 milionech domén ukazuje, že hlavním nástrojem zůstává robots.txt a přístup agentů AI se v něm většinou omezuje pomocí Disallow Hoffmann a kol. 2026. K čemu jednotliví roboti AI načítají stránky, najdete v nástroji Kontrola robotů AI. Ten zároveň načte skutečný soubor robots.txt vašeho webu.

Vytvořte robots.txt pro běžné případy

K vytvoření souboru robots.txt obvykle nechcete studovat odborné pojmy. Z průzkumu mezi 203 umělci vyplynul velký zájem o tento soubor, ale často chyběly znalosti nebo přístup k vlastnímu webu Liu a kol. 2025. Generátor se proto ptá jen na to, co mají roboti smět načíst, a vytváří jednoduché řádky Allow a Disallow. Tlačítko „Zkontrolovat v testeru“ přenese text do testeru výše.

Generátor · robots.txt pro běžné případy

Soubor robots.txt nastavuje pouze pravidla pro procházení webu. Soubor je veřejný, takže žádná data nechrání. Z indexu Googlu stránku neodstraní. Zakázaná adresa se může ve výsledcích objevit bez popisu, pokud na ni odkazují jiné stránky.

Co mají roboti smět načíst?
Které části zakázat?

S lomítkem na konci pravidlo zakáže pouze daný adresář. Bez lomítka se /intern vztahuje i na /internes-handbuch.

Pro každý název se vytvoří dva řádky: pro ?name= a &name=. Pravidlo pro „sort“ se tak nebude vztahovat i na „resort“.

Zadejte https:// a doménu. Jinak se řádek vynechá.

# robots.txt, erstellt mit dem robots.txt-Tester von aureum-tech.com (Stand 14. November 2026)
# Regelt nur das Crawlen. Schützt keine Daten und nimmt keine Seite aus dem Google-Index.
User-agent: *
Disallow:

Generátor běží v prohlížeči a žádná data neodesílá. Soubor uložte pod názvem robots.txt do kořenového adresáře. Každá subdoména má vlastní soubor.

Řádek Sitemap se vyplatí téměř vždy. Procházení odkazů a mapa webu se doplňují. Ve vzorku miliard adres u Googlu pomohla mapa webu dříve objevit stránky bez příchozích odkazů a nový obsah Schonfeld a Shivakumar 2009. Na řádku musí být úplná adresa. Platí pro všechny skupiny.

Co robots.txt neumí

  • Z indexu nic neodstraní. Podle Googlu není robots.txt prostředek k odstranění stránky z Googlu. Zakázaná adresa, na kterou odkazují jiné stránky, se ve výsledcích může objevit bez popisu. K odstranění slouží noindex. Google tento pokyn uvidí pouze tehdy, když smí stránku načíst.
  • Nic nechrání. Soubor je veřejný a uvádí zakázané cesty. Norma RFC výslovně říká, že nenahrazuje řízení přístupu. Zda robot pravidla dodrží, závisí na rozhodnutí jeho provozovatele Thelwall a Stuart 2006. Důvěrný obsah chraňte heslem.
  • Jde o žádost. Už první velké průzkumy popsaly soubor jako pravidlo, které ohleduplní roboti dodržují dobrovolně Sun a kol. 2007a. V pokusech se 130 pojmenovanými roboty během 40 dnů roboti přísnější pravidla dodržovali méně často. Vyhledávací roboti AI si soubor často vůbec nenačetli Kim a kol. 2025.
  • Pravidlo závisí na názvu robota. Žádná z běžných metod nedokáže roboty obecně rozpoznat spolehlivě Doran a Gokhale 2011. Pravidlo pro konkrétního robota se neuplatní, pokud se představí jiným jménem.
  • Vynucené blokování nastavte na serveru. Blokování na reverzní proxy chránilo před roboty AI účinněji než robots.txt Liu a kol. 2025. Někteří poskytovatelé hostingu a tvůrci webů naopak roboty odmítají dříve, než se soubor robots.txt vůbec použije. Ve vzorku Common Crawl šlo asi o 1,68 % webů Ansar a kol. 2025. V takovém případě nepomůže ani řádek Allow.
  • Tester vyhodnocuje vložený text. Zda váš server skutečně vrací stejný soubor jako text se stavem 200, ověří Kontrola robotů AI přímým načtením.

Tester řeší první krok. Zda jsou vaše stránky opravdu na Googlu a případně proč chybí, ukáže rychlá kontrola SpotLens. První kroky k vlastní kontrole najdete v rádci Web se nezobrazuje na Googlu. Na stránce SEO popisujeme, jak zlepšujeme dohledatelnost webů v Rodewischi a ve Vogtlandu. Další nástroje najdete v části SEO a viditelnost.

Jak tento nástroj použít z AI asistenta

Asistenti jako Claude nebo ChatGPT, kteří umějí Model Context Protocol (MCP), si mohou výpočet z této stránky zavolat přímo, místo aby ho napodobovali. Server je veřejný, nevyžaduje přihlášení a nic neukládá. Odpověď vždy obsahuje odkaz na tuto stránku, datum, ke kterému data platí, a meze výsledku.

Endpoint
https://aureum-tech.com/mcp
Nástroj
werkzeug_robots_txt_tester
Přenos
Streamable HTTP, jen pro čtení
Vstupy
NázevPovinnéVýznam
robots_txtanoÚplný text souboru robots.txt tak, jak je uveden na adrese /robots.txt.
pfadeneAž 50 cest nebo celých adres URL, například „/kontakt“ nebo „https://www.firma.de/blog?seite=2“. Z adres URL se vyhodnocuje cesta a parametry dotazu. Výchozí hodnota je „/“.
crawlerneProduktové tokeny robotů, například Googlebot, bingbot, GPTBot. „*“ označuje každého robota bez vlastní skupiny. Nástroj zná Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider a *. Ostatní názvy se vyhodnocují podle RFC 9309. Výchozí hodnoty: Googlebot, bingbot, GPTBot, ClaudeBot, *.

Otázky, při kterých by ho měl asistent zavolat

  • „Smí Googlebot podle tohoto souboru robots.txt načíst /wp-admin/admin-ajax.php?“
  • „Proč zákaz ve skupině ‚User-agent: *‘ neplatí pro GPTBot?“
  • „Který řádek v mém souboru robots.txt zakazuje https://www.firma.de/shop?sort=preis pro Bingbot?“
  • „Je ‚Disalow: /intern/‘ v mém souboru robots.txt chyba a přečte Google tento řádek i tak?“

Jak napojení funguje a co MCP zvládne ve vaší firmě, najdete na stránce Integrace MCP.

Časté dotazy k souboru robots.txt

Odstraní pravidlo „Disallow“ stránku z indexu Googlu?

Ne. Disallow pouze zakazuje stažení stránky. Pokud na adresu odkazují jiné stránky, Google ji může zařadit do výsledků i tak, ale bez popisu. Aby stránka zmizela, musí ji Google smět načíst a najít pokyn noindex v metaznačce nebo v hlavičce X-Robots-Tag. Další možností je, aby stránka vracela stav 404 či 410 nebo byla chráněná heslem. Pokud přístup zakážete a zároveň použijete noindex, Google si pokyn noindex nepřečte.

Proč zákaz ve skupině „User-agent: *“ neplatí pro Googlebot?

Protože Googlebot má vlastní skupinu. Robot se řídí skupinou se svým názvem. Společnou skupinu „*“ použije, jen když vlastní skupinu nenajde. Zákaz ze společné skupiny proto zopakujte i v každé pojmenované skupině. Tester u každého výsledku ukáže, která skupina platí.

Které pravidlo má přednost, když se na stejnou cestu vztahuje Allow i Disallow?

Rozhodne delší pravidlo, měřeno počtem znaků. Při stejné délce má přednost Allow. Na pořadí v souboru nezáleží. Při kombinaci „Disallow: /shop/“ a „Allow: /shop/angebote/“ zůstane /shop/angebote/ přístupná a zbytek obchodu zablokovaný.

Za jak dlouho se u Googlu projeví změna souboru robots.txt?

Google soubor obvykle uchovává až 24 hodin. Pokud se aktualizace nezdaří, může jej uchovávat déle. Do té doby platí stará pravidla. Změnu si proto nejdřív ověřte zde a pak soubor nahrajte.

Mohu pomocí robots.txt ochránit důvěrné části webu?

Ne. Soubor je veřejný, může si ho otevřít kdokoli a zakázané cesty v něm jsou vidět. Už samotná norma říká, že soubor nenahrazuje řízení přístupu. Důvěrné informace na serveru chraňte přihlášením nebo heslem.

Řídí se Google pokyny Crawl-delay nebo Noindex v souboru robots.txt?

Ne. Google čte pouze user-agent, allow, disallow a sitemap. Pokyny noindex, nofollow a crawl-delay v souboru robots.txt nemají u Googlu od 1. září 2019 žádný účinek. Bing se pokynem Crawl-delay řídí, Yandex od února 2018 už ne a Applebot jej nepoužívá. Tester takové řádky označí.

Co tester robots.txt neověřuje?

Tester vyhodnotí vložený text podle RFC 9309 a doložených zvláštností jednotlivých robotů. Zda váš server skutečně posílá právě tento soubor, ověří Kontrola robotů AI přímým načtením. Rychlá kontrola SpotLens ukáže, které stránky jsou v indexu a kde je problém, pokud v něm chybí. Překážky, kvůli kterým se stránky nedostanou do Googlu, vám na požádání pomůžeme odstranit.

O co se nástroj opírá

Výše uvedené hodnoty a doporučení vycházejí z těchto 13 vědeckých prací. U každé jsme podle DOI nebo na stránce vydavatele ověřili, že existuje, nebyla stažena a její závěry jsou pro danou otázku stále použitelné. Naposledy ověřeno 14. listopadu 2026.

  1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), s. 1123–1124

    Zjištění Pět po sobě následujících průzkumů na 7 593 webech ukazuje, že se robots.txt používá čím dál častěji. Soubor pravidla nevynucuje. Dodržují je ohleduplní roboti.

    V nástroji Podkládá upozornění nad každým výsledkem: robots.txt žádá roboty, aby dodržovali pravidla. K uzamčení obsahu slouží ochrana přístupu.

  2. Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), s. 149–155

    Zjištění Ve 2 925 souborech robots.txt měli roboti velkých vyhledávačů díky vlastním skupinám zpravidla širší přístup. Míra tohoto zvýhodnění úzce souvisela s podílem na trhu.

    V nástroji Tester proto porovnává více robotů vedle sebe a ukazuje, která skupina pro koho platí. Rozdíly vznikají v pojmenovaných skupinách.

  3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), s. 1171–1172

    Zjištění Průzkum přibližně 6 milionů webů nezjistil výrazné zvýhodnění konkrétního vyhledávače. Menší studie z roku 2007 dospěla k odlišnému závěru.

    V nástroji Text vysvětluje, proč se zjištění o zvýhodňování liší podle vzorku. Tester ukazuje platnou skupinu pro každého robota a rozdíly ponechává k posouzení uživateli.

  4. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), s. 1101–1102

    Zjištění Většina komerčních crawlerů pravidla dodržovala, mnozí však určitá pravidla robots.txt opakovaně porušovali nebo jim nerozuměli.

    V nástroji Tester proto upozorňuje na řádky, které roboti čtou různě. Generátor vytváří jen jednoduché řádky Allow a Disallow.

  5. Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), s. 668–675

    Zjištění Chování mnoha robotů se měřilo na testovacích stránkách, z nichž každá měla jiné pravidlo robots.txt. Míra dodržování se výrazně lišila. Mnoho komerčních robotů některá pravidla pravidelně porušovalo.

    V nástroji Tester vyhodnocuje pravidlo. Zda se jím robot skutečně řídí, lze zjistit jedině z protokolu serveru.

  6. Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), s. 1771–1779

    Zjištění Práce třídí dopady procházení webů na provozovatele podle nákladů, soukromí a přetížení. Provozovatel robota musí posoudit přijatelnost procházení v každém jednotlivém případě.

    V nástroji Práce vysvětluje, proč tester u důvěrných částí doporučuje ochranu heslem. Řádek Disallow přístup nevynucuje.

  7. Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), s. 991–1000

    Zjištění Porovnání procházení odkazů a map webů na miliardách adres u Googlu ukazuje, že se obě metody doplňují. Mapy webu pomáhají dřív objevit stránky bez příchozích odkazů a nový obsah.

    V nástroji Tester proto uvádí řádky Sitemap zvlášť a ověřuje, zda obsahují úplné adresy. Generátor umí řádek Sitemap přidat.

  8. Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), s. 183–210

    Zjištění Ze srovnání běžných metod rozpoznávání robotů vyplývá, že žádná nefunguje obecně spolehlivě. Někteří roboti se chovají nevhodně nebo výrazně zatěžují server.

    V nástroji Podkládá omezení rozpoznávání robotů. Pravidlo působí jen na roboty, kteří uvedou svůj název a řídí se jím.

  9. Kim, T.; Bock, K.; Luo, C. et al. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 541–557

    Zjištění V kontrolovaných pokusech se 130 pojmenovanými roboty během 40 dnů roboti méně často dodržovali přísnější pravidla. Vyhledávací roboti AI si soubor robots.txt často vůbec nenačetli.

    V nástroji U každého výsledku „zakázáno“ proto najdete upozornění, že zákaz má povahu žádosti. Při volbě „Nic“ generátor doporučí nastavit skutečnou ochranu na serveru.

  10. Longpre, S.; Mahari, R.; Lee, A. a kol. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), s. 108042–108087

    Zjištění Kontrola 14 000 domén, z nichž pocházejí data pro trénování AI, zjistila během jednoho roku výrazný nárůst blokování, velké rozdíly mezi poskytovateli AI a časté rozpory mezi podmínkami použití a robots.txt.

    V nástroji Roboty AI proto lze vybírat jednotlivě. Tester u otázky, zda povolit trénování, odkazuje na Kontrolu robotů AI.

  11. Liu, E.; Luo, E.; Shan, S. a kol. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Sborník konference ACM Internet Measurement Conference 2025 (IMC 2025), s. 78–99

    Zjištění Měření a průzkum mezi 203 umělci ukázaly velký zájem o robots.txt. Překážkou byly odborné znalosti a přístup k vlastnímu webu. Blokování na reverzní proxy chránilo účinněji.

    V nástroji Proto generátor pokrývá běžné případy bez odborných pojmů a pro vynucené blokování doporučuje zapojit poskytovatele hostingu.

  12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), s. 29–41

    Zjištění Měření na přibližně 4 milionech domén ukazuje, že robots.txt zůstává hlavním nástrojem k povolení nebo zákazu přístupu robotů. Agenty AI omezuje především pomocí řádků Disallow.

    V nástroji To vysvětluje, proč se tester soustředí na robots.txt a kontroluje identifikátory AI stejně jako roboty vyhledávačů.

  13. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, s. 197–214

    Zjištění Přibližně 1,68 procenta webů v jednom stažení Common Crawl crawler výslovně odmítlo, často prostřednictvím velkých hostingů a poskytovatelů webových stavebnic, od blokování až po ověřovací stránku.

    V nástroji Povolení v robots.txt nepomůže, pokud robota předem odmítne poskytovatel hostingu nebo ochrana proti botům.

Normy, úřady a údaje výrobců

Po–Pá 8:00–17:00

Pošlete nám zkopírovaný výsledek. Zkontrolujeme robots.txt a mapu vašeho webu a odstraníme překážky, kvůli kterým se stránky nedostanou do Googlu. Pracujeme v Rodewischi a po celém Vogtlandu.

+49 3744 4399760[email protected]

Po–Pá 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch

Nechat zkontrolovat robots.txt
+49 3744 4399760Po–Pá 8:00–17:00
ZavolatZpětné volání

KUSOVNÍK · LIST 1/1

Z čeho se tato stránka skládá

Hodnoty jsou změřené při sestavení stránky. Se zapnutým JavaScriptem je váš prohlížeč přeměří živě.

POZ.DÍLTYPVELIKOST
01index.htmlDokument≈ 29 kB
02styles.cssStyly≈ 20 kB
03scripts.jsSkript≈ 13 kB
04archivo-variable.woff2Písmo≈ 58 kB
05ibm-plex-mono.woff2Písmo≈ 30 kB
06favicon.svgGrafika< 1 kB

Reklamní nebo analytické cookies: žádné. Bez vašeho souhlasu stránka nenačítá nic z cizích serverů, jen z naší doručovací služby Cloudflare. Písma, skripty i grafika jsou uložené u nás. Stejně stavíme i vaše IT.

MIMO PROVOZNÍ DOBU

Klidně zavolejte i tak

V kanceláři jsme běžně od pondělí do pátku, 8:00–17:00.

Číslo je k nám přesměrované i večer a o víkendu a často to někdo vezme. Slíbit to ale nemůžeme.

Když se nedovoláte, nechte nám krátký vzkaz v hlasové schránce: jméno, číslo a o co jde. Zavoláme zpět co nejdřív, nejpozději další pracovní den.

Za hovor nic neplatíte. Když se do toho mimo provozní dobu musí někdo pustit hned, platí příplatek podle ceníku.

Zavolat hned+49 3744 4399760

Raději napíšete? Přes kontaktní formulář nebo na [email protected]. Přečteme si to další pracovní den.

DIAGNOSTIKA · AT-K2

Co potřebujete?

↵ VYBRATESC ZAVŘÍTZAVOLAT: +49 3744 4399760

Vlastní nastavení

Které služby se smějí načítat?

Technicky nezbytné

Vaše rozhodnutí z tohoto okna a nastavení barevného režimu a animací. Tyto údaje zůstávají jako drobné záznamy ve vašem zařízení a nikdy se neposílají na žádný server. Jsou nutné pro provoz stránek, a proto je nelze vypnout.