Narzędzie AT-W48REV. 2026-A

Czy Googlebot może pobrać tę stronę? Test robots.txt

O dostępie Googlebot do strony decyduje jedna linia w robots.txt. To najdłuższa pasująca reguła z grupy obowiązującej danego robota. Proszę wkleić plik i podać ścieżki lub pełne adresy. Test pokaże, czy Googlebot, Bingbot, GPTBot i inne roboty mają dostęp do ścieżki oraz która linia o tym decyduje. Wskaże też rozbieżności między tym, jak reguły odczytuje Google, a treścią normy.

  • bezpłatnie
  • bez rejestracji
  • Tekst pozostaje w przeglądarce

Wklej robots.txt i sprawdź wybrane ścieżki

Test · robots.txt według RFC 9309

Test stosuje RFC 9309 i uwzględnia udokumentowane różnice między robotami. O tym, czy robot przestrzega reguł, decyduje jego operator.

Proszę otworzyć ihre-firma.de/robots.txt w przeglądarce i skopiować cały tekst. Plik można pobrać w narzędziu Test dostępu robotów AI.

Można podać do 50 pozycji. Z pełnych adresów używamy ścieżki i parametrów, np. /shop?sort=preis.

Dla których robotów?
Wyszukiwarki · 6
Pozostałe roboty Google · 3
Roboty AI · 24

Proszę wpisać nazwę podaną przez operatora do użycia w robots.txt (identyfikator produktu), bez pełnego identyfikatora przeglądarki.

Test działa w przeglądarce. Tekst i adresy pozostają na Państwa urządzeniu.

Wynik

Proszę wkleić robots.txt i wpisać ścieżki. Można też wypróbować gotowy przykład.

Jak robot ustala, czy może pobrać stronę

Od września 2022 sposób działania określa RFC 9309. Wcześniej obowiązywało porozumienie z 1994 roku, którego duże roboty przestrzegały w różnym stopniu Sun i in. 2010. Test stosuje następującą kolejność zgodnie z RFC.

  1. Plik. Plik /robots.txt znajduje się w katalogu głównym i obowiązuje tylko na tym samym hoście, dla tego samego protokołu i portu. Plik w domenie ihre-firma.de nie dotyczy www.ihre-firma.de ani shop.ihre-firma.de.
  2. Grupa. Robot szuka grupy noszącej jego nazwę bez względu na wielkość liter. Grupy o tej samej nazwie są scalane. Jeśli nie ma własnej grupy, obowiązuje „User-agent: *”. Jeśli nie ma także grupy ogólnej, wszystko jest dozwolone.
  3. Reguła. W grupie wygrywa najdłuższa linia Allow lub Disallow pasująca do początku ścieżki. Przy tej samej długości pierwszeństwo ma Allow. Kolejność linii jest bez znaczenia.
  4. Znaki. Gwiazdka zastępuje dowolną liczbę znaków, a znak dolara ogranicza dopasowanie do końca adresu. Wielkość liter w ścieżce ma znaczenie. Robot porównuje litery diakrytyczne w zapisie procentowym, więc „/über” i „/%C3%BCber” oznaczają to samo.
  5. Wyjątek. Każdy robot może pobrać sam plik robots.txt. Wpisy Sitemap obowiązują niezależnie od grup.
KTÓRA GRUPA?ROBOT/robots.txtWŁASNAGRUPAINACZEJ GRUPA*INACZEJ WSZYSTKODOZWOLONEKTÓRA REGUŁA?ŚCIEŻKAPASUJĄCE REGUŁYNAJDŁUŻSZAWYGRYWA, REMISROZSTRZYGA ALLOWDOZWOLONE LUBZABLOKOWANAKTÓRA GRUPA?ROBOT/robots.txtWŁASNA GRUPAINACZEJ GRUPA *INACZEJ WSZYSTKO DOZWOLONEKTÓRA REGUŁA?ŚCIEŻKAPASUJĄCE REGUŁYNAJDŁUŻSZA WYGRYWA, PRZY REMISIEROZSTRZYGA ALLOWDOZWOLONE LUB ZABLOKOWANE
RYS. 1 · JAK ROBOT CZYTA ROBOTS.TXTZŁOTY = PAŃSTWA PLIK · DWA KOLEJNE PYTANIA

Do czego pasuje wzorzec?

Przykłady obliczone tą samą funkcją co test
Wzorzecpasuje donie pasuje do
/fisch/fisch, /fisch.html, /fischkopf/rezept/Fisch, /katalog/fisch
/fisch//fisch/, /fisch/?sorte=lachs/fisch, /fisch.html
/*.php/index.php, /ordner/seite.php?id=1/, /seite.PHP
/*.php$/seite.php/seite.php?id=1, /seite.php5
/*?s=/?s=preise, /blog/?s=test/blog/?seite=2

Porównanie zaczyna się zawsze od początku ścieżki, więc /fisch nie pasuje do /katalog/fisch. Gwiazdka przed wzorcem pozwala znaleźć dopasowanie w dowolnym miejscu.

Najdłuższa reguła ma pierwszeństwo

W przykładzie grupa blokuje sklep z wyjątkiem ofert. Dla /shop/angebote/herbst test zwraca wynik „dozwolone” na podstawie linii 3 „Allow: /shop/angebote/” w grupie „User-agent: *”. Reguła ma 15 znaków i jest najdłuższa z 2 pasujących. /shop/kasse jest zablokowane, bo pasuje tylko krótsza reguła.

Komercyjne roboty przez długi czas regularnie łamały lub błędnie interpretowały określone reguły Giles i in. 2010. RFC jednoznacznie określa sposób wyznaczenia wyniku, choć nie każdy robot go stosuje. Test wskazuje więc linie, które roboty odczytują inaczej.

User-agent: *
Disallow: /shop/
Allow: /shop/angebote/

Najczęstsza pułapka: grupy niczego nie dziedziczą

Jeśli robot ma własną grupę, ogólna grupa nie obowiązuje go nawet częściowo. W przykładzie /intern/ ma być zablokowane dla wszystkich, ale Googlebot ma własną grupę dla wersji roboczych. Dla /intern/preise wynik to blokada dla Bingbot i dostęp dla Googlebot. Reguły dla wszystkich trzeba więc umieścić w każdej nazwanej grupie.

Grupy nazwane są powszechne. Wczesne badanie 2 925 plików robots.txt wykazało, że dzięki własnym grupom duże wyszukiwarki otrzymywały zwykle szerszy dostęp Sun i in. 2007b. Późniejsze badanie około 6 milionów witryn nie wykazało wyraźnego faworyzowania Kolay i in. 2008. Bez względu na intencję test pokazuje grupę obowiązującą każdego wybranego robota, a w zestawieniu wskazuje, kogo dotyczy każda grupa.

User-agent: *
Disallow: /intern/

User-agent: Googlebot
Disallow: /entwurf/

Gdzie Google odczytuje robots.txt inaczej niż norma

Google uczestniczył w opracowaniu RFC i zasadniczo go przestrzega. W niektórych miejscach parser Google jest bardziej pobłażliwy lub bardziej rygorystyczny. Dokumentacja wyjaśnia też kwestie, których RFC nie rozstrzyga. Test stosuje RFC i wskazuje każdą taką różnicę, żeby plik mógł działać tak samo dla wszystkich robotów.

Porównanie RFC 9309 i Google według dokumentacji Google z 23 października 2026
KwestiaRFC 9309Google
Rozmiar plikuodczyt co najmniej 500 KiBnajwyżej 500 KiB, pozostała część jest pomijana
Pamięć podręcznanajwyżej 24 godziny, chyba że plik jest niedostępnyzwykle do 24 godzin, dłużej w przypadku nieudanego odświeżenia
Przekierowanienależy podążyć za co najmniej pięciomaco najmniej pięć, potem jak 404
404 i inne 4xxbrak robots.txt, wszystko dozwolonetak samo, z wyjątkiem 429
5xx lub brak dostępnościwszystko zablokowane, po dłuższym czasie (np. 30 dni) plik jest traktowany jako brakujący lub używana jest zapisana wersjaprzez 12 godzin robot niczego nie pobiera, potem do 30 dni używa ostatniej poprawnej wersji (bez niej brak ograniczeń), a następnie działa jak bez pliku, jeśli witryna poza tym jest dostępna
Dyrektywyuser-agent, allow, disallow. Robot może interpretować także inne linie, np. sitemaptylko user-agent, allow, disallow i sitemap. noindex, nofollow i crawl-delay bez skutku od 1 września 2019
Literówka lub brak dwukropkalinia jest pomijanaparser Google odczytuje mimo to niektóre literówki, np. „Disalow”, oraz linie bez dwukropka
Nazwa z dodatkowym członemnazwy składają się wyłącznie z liter oraz znaków - i _„googlebot/1.2” i „googlebot*” są traktowane jak „googlebot”
Litery diakrytyczne i znaki specjalnezapis procentowy przed porównaniemporównanie w zapisie procentowym
Mapa witrynyrobot może ją interpretowaćpełny adres z protokołem i nazwą hosta, może wskazywać inny host

Źródła: RFC 9309, dokumentacja Google dotycząca robots.txt (stan na 23 października 2026), blog Google z 2 lipca 2019 i parser Google. Sprawdzono 14 listopada 2026.

Pozostałe wyszukiwarki mają własne reguły. Bing uwzględnia Crawl-delay i bez własnej grupy bingbot stosuje grupę msnbot. Yandex nie uwzględnia Crawl-delay od 22 lutego 2018 i posługuje się grupą „User-agent: Yandex” dla wszystkich swoich robotów. Robot Apple bez własnej grupy stosuje grupę Googlebot. Roboty reklamowe Google w ogóle pomijają grupę ogólną. W tabeli podajemy, które z tych zasad uwzględnia test.

Jakie nazwy wpisywać do robots.txt

Do linii User-agent wpisuje się identyfikator produktu, czyli krótką nazwę podaną przez operatora na potrzeby robots.txt, np. „Googlebot”. Nie potrzeba pełnego identyfikatora z dziennika serwera. Lista w teście obejmuje wyłącznie nazwy udokumentowane przez operatorów i uwzględnia reguły szczególne tylko wtedy, gdy operator je opisał.

Roboty wyszukiwarek i Google. Porównanie z dokumentacją operatorów z 14 listopada 2026
Nazwa w robots.txtOperatorDo czegoReguła szczególna
GooglebotGoogleWyszukiwarka Google, w tym podsumowania AIBez własnej grupy obowiązuje „*”.
Googlebot-ImageGoogleGrafika GoogleBez własnej grupy stosuje grupę Googlebot.
bingbotMicrosoftBing i CopilotBez własnej grupy stosuje najpierw grupę msnbot, a dopiero potem „*”. Uwzględnia Crawl-delay.
ApplebotAppleSiri, Spotlight, SafariBez własnej grupy stosuje grupę Googlebot.
DuckDuckBotDuckDuckGowłasny indeks DuckDuckGoBez własnej grupy obowiązuje „*”.
YandexBotYandexWyszukiwarka YandexBez własnej grupy stosuje grupę Yandex. Crawl-delay nie działa od lutego 2018.
Storebot-GoogleGoogleGoogle ShoppingGoogle nie dokumentuje grupy zastępczej. Test stosuje „*” zgodnie z RFC 9309.
AdsBot-GoogleGoogleSprawdza strony docelowe Google AdsPomija grupę „*”. Można go zablokować tylko we własnej grupie.
Mediapartners-GoogleGoogleAdSense i Ad ManagerPomija grupę „*”. Można go zablokować tylko we własnej grupie.

Do tego dochodzą 24 identyfikatory dostawców AI, m.in. GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot i Claude-User. Od 2023 roku witryny coraz częściej blokują dostawców AI na różne sposoby, a warunki korzystania z witryn często są niespójne z robots.txt Longpre i in. 2024. Badanie około 4 milionów domen pokazało, że robots.txt wciąż jest najważniejszym narzędziem w tym zakresie. Dostęp agentów AI ogranicza się w nim przede wszystkim za pomocą Disallow Hoffmann i in. 2026. Narzędzie Test dostępu robotów AI wyjaśnia przeznaczenie każdego z nich i pobiera Państwa rzeczywisty plik robots.txt.

Jak utworzyć robots.txt do typowych zastosowań

Kto potrzebuje pliku robots.txt, rzadko chce się uczyć specjalistycznych pojęć. W badaniu z udziałem 203 artystów wiele osób chciało mieć taki plik, ale często brakowało im wiedzy lub dostępu do własnej witryny Liu i in. 2025. Generator pyta więc tylko, co roboty mają móc odczytać, i tworzy proste reguły Allow i Disallow. Przycisk „Sprawdź w teście” przenosi tekst do testu powyżej.

Generator · robots.txt do typowych zastosowań

Plik robots.txt reguluje tylko pobieranie przez roboty. Nie chroni danych, ponieważ każdy może go odczytać, i nie usuwa stron z indeksu Google: zablokowany adres może pojawić się w wynikach bez opisu, jeśli linkują do niego inne strony.

Co roboty mają móc odczytać?
Które części zablokować?

Ukośnik na końcu ogranicza regułę do katalogu. Bez niego /intern pasuje również do /internes-handbuch.

Dwie linie na nazwę, dla ?name= i &name=. Dzięki temu „sort” nie pasuje też do „resort”.

Proszę podać https:// i domenę, inaczej wpis zostanie pominięty.

# robots.txt, erstellt mit dem robots.txt-Tester von aureum-tech.com (Stand 14. November 2026)
# Regelt nur das Crawlen. Schützt keine Daten und nimmt keine Seite aus dem Google-Index.
User-agent: *
Disallow:

Generator działa w przeglądarce. Dane pozostają na urządzeniu. Plik o nazwie robots.txt powinien trafić do katalogu głównego, osobno dla każdej subdomeny.

Wiersz Sitemap przydaje się prawie zawsze. Śledzenie linków i mapa witryny się uzupełniają. Analiza miliardów adresów w Google pokazała, że dzięki mapie szybciej zauważano strony bez linków przychodzących i nowe treści Schonfeld und Shivakumar 2009. Wiersz wymaga pełnego adresu i obowiązuje we wszystkich grupach.

Czego robots.txt nie zapewnia

  • Adres może pozostać w indeksie. Według Google zablokowany adres może pojawić się bez opisu, jeśli inne strony do niego linkują. Żeby usunąć stronę z wyników za pomocą noindex, Google musi mieć dostęp do tej strony.
  • Nie chroni niczego. Plik jest publiczny i wymienia zablokowane ścieżki, a RFC wyraźnie stwierdza, że nie zastępuje kontroli dostępu. O tym, czy robot przestrzega reguł, decyduje ocena jego operatora Thelwall und Stuart 2006. Poufne zasoby powinny być chronione hasłem.
  • Przestrzeganie reguł jest dobrowolne. Już pierwsze duże badania opisały plik jako zbiór zasad dla robotów działających zgodnie z normą Sun i in. 2007a. W testach z 130 zidentyfikowanymi robotami przez 40 dni roboty rzadziej przestrzegały ostrzejszych reguł, a roboty wyszukiwarek AI często w ogóle nie pobierały pliku Kim i in. 2025.
  • Reguły zależą od nazwy. Żadna z popularnych metod nie rozpoznaje robotów w sposób niezawodny we wszystkich przypadkach Doran und Gokhale 2011. Jeśli robot poda cudzą nazwę, reguły dla jego własnej nazwy go nie obejmą.
  • Skuteczną blokadę ustawia się na serwerze. W przypadku robotów AI blokady w odwrotnym proxy działały skuteczniej niż robots.txt Liu i in. 2025. Z kolei niektórzy dostawcy hostingu i kreatorów witryn odrzucają roboty, zanim obowiązują reguły robots.txt. Zbiór danych Common Crawl wskazał około 1,68 procent takich witryn Ansar i in. 2025. Wtedy nawet poprawne Allow nie zapewni dostępu.
  • Test analizuje wklejony tekst. Narzędzie Test dostępu robotów AI pobiera plik z serwera i sprawdza, czy jest dokładnie taki, czy ma status 200 i czy serwer zwraca go jako tekst.

Test pokazuje, czy reguły pozwalają pobrać stronę. Szybki test SpotLens sprawdza, czy Państwa strony są w Google, i podpowiada, dlaczego może ich nie być. Pierwsze kroki do samodzielnego sprawdzenia znajdą Państwo w poradniku Strony nie ma w Google. Na stronie SEO opisujemy, jak zwiększamy widoczność witryn w Rodewisch i Vogtlandzie. Dalsze narzędzia są w dziale SEO i widoczność.

Korzystanie z tego narzędzia przez asystenta AI

Asystenci, tacy jak Claude czy ChatGPT, którzy obsługują Model Context Protocol (MCP), mogą wywołać obliczenia tej strony bezpośrednio, zamiast je odtwarzać. Serwer jest publiczny, nie wymaga logowania i niczego nie zapisuje. Odpowiedź zawsze zawiera link do tej strony, stan danych i granice wyniku.

Endpoint
https://aureum-tech.com/mcp
Narzędzie
werkzeug_robots_txt_tester
Transport
Streamable HTTP, tylko odczyt
Dane wejściowe
NazwaWymaganeZnaczenie
robots_txttakCała treść pliku robots.txt dostępna pod /robots.txt.
pfadenieDo 50 ścieżek lub pełnych adresów URL, np. „/kontakt” albo „https://www.firma.de/blog?seite=2”. Dla pełnego adresu liczą się ścieżka i parametry zapytania. Domyślnie „/”.
crawlernieIdentyfikatory produktów robotów, np. Googlebot, bingbot lub GPTBot. Znak „*” obejmuje każdego robota bez własnej grupy. Obsługiwane nazwy to Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. Inne nazwy są sprawdzane zgodnie z RFC 9309. Domyślnie Googlebot, bingbot, GPTBot, ClaudeBot, *.

Pytania, przy których asystent powinien go użyć

  • „Czy Googlebot może pobrać /wp-admin/admin-ajax.php według tego robots.txt?”
  • „Dlaczego blokada w grupie «User-agent: *» nie dotyczy GPTBot?”
  • „Która linia mojego robots.txt blokuje dostęp do https://www.firma.de/shop?sort=preis dla Bingbot?”
  • „Czy «Disalow: /intern/» w moim robots.txt to błąd i czy Google mimo to odczytuje tę linię?”

Jak działa połączenie i co MCP może dać we własnej firmie, opisujemy na stronie Integracje MCP.

Częste pytania o robots.txt

Czy „Disallow” usuwa stronę z indeksu Google?

Nie. Disallow zabrania tylko pobierania strony. Jeśli inne strony linkują do tego adresu, Google nadal może uwzględnić go w wynikach, bez opisu. Żeby usunąć stronę z indeksu, robot Google musi mieć do niej dostęp i znaleźć dyrektywę noindex w znaczniku meta lub nagłówku X-Robots-Tag. Inne możliwości to zwracanie kodu 404 albo 410 lub ochrona hasłem. Jeśli zablokują Państwo adres i jednocześnie ustawią noindex, Google nie odczyta tej dyrektywy.

Dlaczego blokada w grupie „User-agent: *” nie dotyczy Googlebot?

Googlebot ma własną grupę. Robot stosuje reguły z grupy noszącej jego nazwę i sięga po ogólną grupę „*” tylko wtedy, gdy nie ma własnej. Dlatego reguła blokująca z grupy ogólnej musi się znaleźć też w każdej grupie nazwanej, która ma ją stosować. Test pokazuje przy każdym wyniku, która grupa obowiązuje.

Która reguła wygrywa, gdy Allow i Disallow pasują do tej samej ścieżki?

Wygrywa dłuższa reguła, liczona w znakach. Przy tej samej długości pierwszeństwo ma Allow. Kolejność linii w pliku jest bez znaczenia. Przy „Disallow: /shop/” i „Allow: /shop/angebote/” dostęp do /shop/angebote/ pozostaje otwarty, a reszta sklepu jest zablokowana.

Po jakim czasie Google uwzględnia zmianę w robots.txt?

Google zazwyczaj trzyma kopię pliku do 24 godzin. Jeśli nie uda mu się jej odświeżyć, może ją przechować dłużej. Do tego czasu obowiązują stare reguły. Warto najpierw sprawdzić tu zmianę i dopiero potem wysłać plik na serwer.

Czy robots.txt chroni poufne części witryny?

Nie. Każdy może otworzyć publiczny plik i zobaczyć w nim zablokowane ścieżki. Norma wprost mówi, że plik nie zastępuje kontroli dostępu. Poufne zasoby trzeba zabezpieczyć logowaniem lub hasłem na serwerze.

Czy Google uwzględnia Crawl-delay lub Noindex w robots.txt?

Nie. Google odczytuje tylko user-agent, allow, disallow i sitemap. Noindex, nofollow i crawl-delay w robots.txt nie wywołują skutku w Google od 1 września 2019. Bing uwzględnia Crawl-delay, Yandex nie robi tego od lutego 2018, a Applebot go nie uwzględnia. Test oznacza takie linie.

Jakie są ograniczenia testu robots.txt?

Test analizuje wklejony tekst według RFC 9309, uwzględniając udokumentowane różnice między robotami. Czy serwer faktycznie udostępnia ten plik, można sprawdzić testem dostępu robotów AI, który pobiera plik z serwera. Szybki test SpotLens pokaże, czy Państwa strony są w indeksie, i podpowie przyczynę, jeśli ich tam nie ma. Na życzenie usuniemy przeszkody w indeksowaniu w Google.

Na czym opiera się to narzędzie

Podane wyżej wartości orientacyjne i wskazówki opierają się na tych 13 pracach naukowych. Każdą zweryfikowaliśmy przez DOI lub na stronie wydawcy (ostatnio 14 listopada 2026): istnieje, nie została wycofana, a jej wnioski nadal mają zastosowanie do omawianego zagadnienia.

  1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), s. 1123–1124

    Wyniki Pięć kolejnych badań 7 593 witryn wykazało, że robots.txt jest używany coraz częściej. Plik niczego nie wymusza. Jego reguł przestrzegają operatorzy robotów, którzy decydują się je respektować.

    W narzędziu Z tego wynika ostrzeżenie nad każdym wynikiem, że reguły robots.txt mają charakter instrukcji dla robotów i same nie chronią dostępu.

  2. Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), s. 149–155

    Wyniki W 2 925 plikach robots.txt zwykle faworyzowano roboty dużych wyszukiwarek za pomocą osobnych grup. Skala tego faworyzowania silnie wiązała się z udziałem w rynku.

    W narzędziu Stąd porównanie wyników dla kilku robotów jednocześnie i informacja, kogo obowiązuje dana grupa. Różnice wynikają z grup nazwanych.

  3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), s. 1171–1172

    Wyniki Badanie około 6 milionów witryn, w odróżnieniu od mniejszej analizy z 2007 roku, nie wykazało wyraźnego faworyzowania konkretnej wyszukiwarki.

    W narzędziu Wyniki dotyczące faworyzowania różnią się zależnie od próby. Dlatego test pokazuje grupę obowiązującą każdego robota bez oceniania tych decyzji.

  4. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), s. 1101–1102

    Wynik Większość komercyjnych crawlerów działała zgodnie z regułami, ale wiele z nich wielokrotnie naruszało lub błędnie rozumiało określone reguły robots.txt.

    W narzędziu Dlatego test oznacza linie, które roboty odczytują inaczej, a generator tworzy proste reguły Allow i Disallow.

  5. Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), s. 668–675

    Wyniki Zachowanie wielu robotów badano na stronach testowych z różnymi regułami robots.txt. Stopień ich przestrzegania bardzo się różnił. Wiele komercyjnych robotów regularnie naruszało określone reguły.

    W narzędziu Test pokazuje wynik reguły. Faktyczne zachowanie robota można sprawdzić w dzienniku serwera.

  6. Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), s. 1771–1779

    Wyniki Autorzy opisują skutki pobierania stron dla właścicieli witryn w kontekście kosztów, prywatności i przeciążenia. To operator robota musi w danej sytuacji ocenić, czy pobieranie jest uzasadnione.

    W narzędziu To uzasadnia, dlaczego test w przypadku poufnych części witryny wskazuje ochronę hasłem zamiast wpisu Disallow.

  7. Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), s. 991–1000

    Wyniki Porównanie miliardów adresów w Google wykazało, że śledzenie linków i mapy witryn dobrze się uzupełniają. Mapy pomagają szybciej odkryć strony bez linków przychodzących i nowe treści.

    W narzędziu Dlatego test wyświetla wpisy Sitemap osobno, sprawdza, czy podano pełny adres, a generator dodaje taki wpis.

  8. Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), s. 183–210

    Wyniki Porównanie popularnych metod rozpoznawania robotów pokazało, że żadna nie działa niezawodnie w każdej sytuacji. Niektóre roboty zachowują się nieprawidłowo albo znacznie obciążają serwery.

    W narzędziu Robotów nie da się rozpoznać z pełną pewnością. Reguła działa tylko wobec robotów, które podają swoją nazwę i jej przestrzegają.

  9. Kim, T.; Bock, K.; Luo, C. i in. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 541–557

    Wyniki W kontrolowanych testach ze 130 zidentyfikowanymi robotami przez 40 dni roboty rzadziej przestrzegały ostrzejszych reguł. Roboty wyszukiwarek AI często w ogóle nie pobierały pliku.

    W narzędziu Dlatego przy każdym wyniku „zablokowane” przypominamy, że przestrzeganie reguły jest dobrowolne. W generatorze przy opcji „Zablokuj wszystko” zalecamy zabezpieczyć dostęp na serwerze.

  10. Longpre, S.; Mahari, R.; Lee, A. i in. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), s. 108042–108087

    Wynik Analiza 14 000 domen stojących za danymi treningowymi AI wykazała w ciągu roku silny wzrost blokad, duże różnice między dostawcami AI oraz częste sprzeczności między warunkami korzystania a robots.txt.

    W narzędziu Roboty AI można wybierać osobno. W kwestii dostępu do trenowania test odsyła do narzędzia Test dostępu robotów AI.

  11. Liu, E.; Luo, E.; Shan, S. i in. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 78–99

    Wyniki Pomiary i ankieta wśród 203 artystów pokazały duże zapotrzebowanie na robots.txt. Przeszkodą były braki wiedzy i trudności z dostępem do własnej witryny. Blokady w odwrotnym proxy zapewniały skuteczniejszą ochronę.

    W narzędziu Stąd prosty generator do typowych zastosowań oraz wskazówka, żeby w sprawie skutecznej blokady zwrócić się do dostawcy hostingu.

  12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), s. 29–41

    Wyniki Pomiary około 4 milionów domen pokazały, że robots.txt pozostaje najważniejszym sposobem określania dostępu dla robotów. W pliku dostęp agentów AI ogranicza się głównie przez wpisy Disallow.

    W narzędziu To uzasadnia, dlaczego test skupia się na robots.txt i sprawdza identyfikatory AI na równi z robotami wyszukiwarek.

  13. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, s. 197–214

    Wynik Około 1,68 procent stron w jednym zrzucie Common Crawl wyraźnie odrzucało crawler, często za sprawą dużych hostingów i dostawców kreatorów stron — od blokady po stronę weryfikacyjną.

    W narzędziu Nawet gdy robots.txt pozwala na dostęp, hosting lub mechanizm ochrony przed robotami może odrzucić żądanie wcześniej.

Normy, urzędy i dane producentów

pon.–pt. 8–17

Proszę wysłać nam skopiowany wynik. Sprawdzimy robots.txt i mapę Państwa witryny oraz usuniemy przeszkody w indeksowaniu w Google. Działamy w Rodewisch i w całym Vogtlandzie.

+49 3744 4399760[email protected]

pon.–pt. 8–17 · Straße der Jugend 5, 08228 Rodewisch

Zleć sprawdzenie robots.txt
+49 3744 4399760pon.–pt. 8–17
ZadzwońOddzwonimy

WYKAZ CZĘŚCI · ARKUSZ 1/1

Z czego składa się ta strona

Wartości zmierzone podczas budowania strony – z JavaScriptem Państwa przeglądarka mierzy je na bieżąco.

POZ.ELEMENTTYPROZMIAR
01index.htmlDokument≈ 29 kB
02styles.cssArkusz stylów≈ 20 kB
03scripts.jsSkrypt≈ 13 kB
04archivo-variable.woff2Czcionka≈ 58 kB
05ibm-plex-mono.woff2Czcionka≈ 30 kB
06favicon.svgGrafika< 1 kB

Pliki cookie reklamowe ani analityczne: brak. Bez Państwa zgody strona nie pobiera niczego z obcych serwerów poza naszą usługą dostarczania treści Cloudflare – czcionki, skrypty i grafiki są u nas. Tak samo budujemy Państwa IT.

POZA GODZINAMI PRACY

Mimo to proszę śmiało dzwonić

Zwykle jesteśmy w biurze pon.–pt. 8–17.

Wieczorem i w weekend numer też jest do nas przekierowany i często ktoś odbiera. Obiecać tego nie możemy.

Jeśli nikt nie odbierze, proszę zostawić krótką wiadomość na poczcie głosowej: imię i nazwisko, numer i czego dotyczy sprawa. Oddzwonimy jak najszybciej, najpóźniej następnego dnia roboczego.

Sama rozmowa nic nie kosztuje. Jeśli poza godzinami pracy ktoś musi zająć się sprawą od razu, obowiązuje dopłata z cennika.

Zadzwoń teraz+49 3744 4399760

Wolą Państwo napisać? Przez formularz kontaktowy albo na [email protected]. Przeczytamy to następnego dnia roboczego.

DIAGNOZA · AT-K2

W czym możemy pomóc?

↵ WYBIERZESC ZAMKNIJTELEFON: +49 3744 4399760

Ustawienia indywidualne

Które usługi mogą się ładować?

Niezbędne technicznie

Podjęta tutaj decyzja oraz ustawienia schematu kolorów i animacji. Te dane zostają jako małe wpisy na Państwa urządzeniu i nigdy nie są wysyłane na serwer. Są potrzebne do działania strony, dlatego nie można ich wyłączyć.