Narzędzie AT-W29REV. 2026-A
Test crawlerów AI: czy ChatGPT, Claude i Perplexity mogą czytać Państwa stronę?
To, czy asystent AI może czytać Państwa stronę, określa robots.txt: osobna grupa dla każdego crawlera, a w przeciwnym razie obowiązuje reguła zbiorcza „User-agent: *”. Liczy się cel. GPTBot i ClaudeBot zbierają dane do treningu, OAI-SearchBot i Claude-SearchBot do wyszukiwania AI, a ChatGPT-User pobiera stronę, gdy ktoś pyta o nią na czacie. Test odczytuje reguły dla 27 crawlerów, sprawdza llms.txt i tworzy odpowiedni blok.
- bezpłatnie
- bez rejestracji
- 5 minut w pamięci podręcznej
01 / POBRANIE
Wpisz domenę, sprawdź dostęp dla każdego crawlera
Pobranie · robots.txt, llms.txt i strona główna
Test odczytuje reguły w aktualnej postaci na serwerze i interpretuje je zgodnie z RFC 9309. O tym, czy crawler ich przestrzega, decyduje jego operator.
Bez pobierania: wklej tekst robots.txt
Na przykład dla pliku, który nie jest jeszcze dostępny online. Tekst pozostaje w przeglądarce; obowiązuje ścieżka podana powyżej.
02 / CRAWLERY
Jakie crawlery AI istnieją i po co czytają
Duzi dostawcy wysyłają nie jeden crawler, lecz kilka — zależnie od celu. To najważniejsza kwestia przy konfiguracji: kto blokuje „AI”, zazwyczaj wypada również z wyszukiwania AI i nie jest tam już podawany jako źródło. Od 2023 r. strony coraz częściej blokują dostawców AI, przy czym robią to bardzo różnie; badacze często znajdowali sprzeczności między warunkami korzystania a robots.txt Longpre i in. 2024. Dlatego test pokazuje każdy crawler osobno.
| Rodzaj | Wpisy | Co robią |
|---|---|---|
| Wyszukiwanie AI | 11 | Buduje indeks, z którego asystent AI lub wyszukiwarka pobiera odpowiedzi ze źródłami. Po zablokowaniu strona pojawia się tam jako źródło rzadziej albo wcale. |
| Trening | 6 | Zbiera treści, na których uczą się modele językowe. Zakaz dotyczy przyszłych treningów, nie modeli już wytrenowanych. |
| Przełącznik treningu | 2 | Nie jest osobnym crawlerem. Reguła określa, czy operator może użyć już pobranych treści do treningu. |
| Pobranie użytkownika | 7 | Pobiera pojedynczą stronę, ponieważ człowiek właśnie o nią pyta. Kilku operatorów podaje, że robots.txt nie obowiązuje w tym przypadku lub nie zawsze obowiązuje. |
Dwa wpisy zasługują na bliższe spojrzenie. Common Crawl nie trenuje sam żadnego modelu, ale tworzy największe swobodnie dostępne archiwum sieci, będące jednym z najważniejszych źródeł wstępnego treningu dużych modeli językowych Baack 2024. Znany korpus treningowy C4 powstał na przykład z jednego takiego zrzutu Dodge i in. 2021. Dlatego kto nie zgadza się na trening, blokuje również CCBot; żadna reguła nie wycofa jednak treści już znajdujących się w zrzucie. Drugi wpis to Googlebot: jest na liście, ponieważ przeglądy AI i tryb AI wyszukiwarki Google opierają się na jego indeksie. Nie blokuje go nikt, kto chce być znajdowany w Google.
Wszystkie 27 uwzględnionych crawlerów
| Nazwa w robots.txt | Operator | Cel | robots.txt obowiązuje | Co podaje operator |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | Wyszukiwanie AI | tak, według operatora | Zasila wyszukiwanie w ChatGPT. Kto go zablokuje, nie pojawia się tam jako źródło w odpowiedziach. |
| Claude-SearchBot | Anthropic | Wyszukiwanie AI | tak, według operatora | Wspiera wyszukiwanie w Claude. Po zablokowaniu strona rzadziej pojawia się tam w wynikach. |
| Googlebot | Wyszukiwanie AI | tak, według operatora | Crawler wyszukiwarki Google. Także przeglądy AI i tryb AI korzystają z tego indeksu; sterowanie odbywa się tam za pomocą nosnippet, max-snippet i noindex. | |
| PerplexityBot | Perplexity | Wyszukiwanie AI | tak, według operatora | Buduje indeks, z którego Perplexity linkuje źródła. Według operatora nie służy do treningu modeli. |
| Applebot | Apple | Wyszukiwanie AI | tak, według operatora | Crawler do wyszukiwania w Siri, Spotlight i Safari. Według Apple dane mogą także trafić do treningu modeli Apple; do tego służy Applebot-Extended. |
| meta-webindexer | Meta | Wyszukiwanie AI | tak, według operatora | Indeksuje na potrzeby wyszukiwania w Meta AI, aby Meta mogła cytować i linkować treści. |
| Amzn-SearchBot | Amazon | Wyszukiwanie AI | tak, według operatora | Do funkcji wyszukiwania w produktach Amazon, takich jak Alexa; według Amazon nie do treningu. |
| bingbot | Microsoft | Wyszukiwanie AI | tak, według operatora | Crawler Bing. Microsoft nie podaje osobnego identyfikatora AI; wytyczne dotyczące treningu i odpowiedzi AI będą od lutego 2027 r. kierowane do Bingbot. |
| MistralAI-Index | Mistral | Wyszukiwanie AI | tak, według operatora | Crawluje wyłącznie dla indeksu wyszukiwania, według Mistral nie do treningu. |
| DuckAssistBot | DuckDuckGo | Wyszukiwanie AI | tak, według operatora | Pobiera strony w czasie rzeczywistym do odpowiedzi AI DuckDuckGo, ze wskazaniem źródeł. Według operatora nie do treningu. |
| YouBot | You.com | Wyszukiwanie AI | tak, według operatora | Crawler wyszukiwarki You.com. Przestrzega robots.txt, w tym Crawl-delay. |
| GPTBot | OpenAI | Trening | tak, według operatora | Zbiera treści, które mogą trafić do treningu modeli OpenAI. Według OpenAI blokada oznacza: nie używać do treningu. |
| ClaudeBot | Anthropic | Trening | tak, według operatora | Zbiera treści, które mogą trafić do treningu modeli Anthropic. Anthropic przestrzega robots.txt oraz Crawl-delay. |
| meta-externalagent | Meta | Trening | tak, według operatora | Zbiera dane do treningu modeli AI i produktów Meta. |
| Amazonbot | Amazon | Trening | tak, według operatora | Ulepsza produkty Amazon, co może obejmować trening modeli AI Amazon. Nie uwzględnia Crawl-delay. |
| MistralAI-Training | Mistral | Trening | tak, według operatora | Zbiera treści do danych treningowych modeli Mistral. |
| CCBot | Common Crawl | Trening | tak, według operatora | Tworzy publicznie dostępne archiwum sieci. Common Crawl sam niczego nie trenuje, ale archiwum jest jednym z najważniejszych źródeł danych treningowych. |
| Google-Extended | Przełącznik treningu | tak, według operatora | Nie jest osobnym crawlerem, lecz przełącznikiem: czy pobrania Google mogą być wykorzystywane do treningu przyszłych modeli Gemini oraz ugruntowania odpowiedzi Gemini? Według Google nie wpływa na wyszukiwarkę Google. | |
| Applebot-Extended | Apple | Przełącznik treningu | tak, według operatora | Nie jest osobnym crawlerem. Po zablokowaniu Apple nie wykorzystuje treści do treningu swoich modeli; strona pozostaje w wyszukiwaniu. |
| ChatGPT-User | OpenAI | Pobranie użytkownika | nie zawsze | Pobiera stronę, gdy ktoś pyta o nią w ChatGPT. Według OpenAI reguły robots.txt mogą w tym przypadku nie obowiązywać. |
| Claude-User | Anthropic | Pobranie użytkownika | tak, według operatora | Pobiera strony, gdy użytkownicy zadają pytanie w Claude. Anthropic podaje, że jego boty przestrzegają robots.txt. |
| Google-Agent | Pobranie użytkownika | nie zawsze | Przegląda internet na zlecenie użytkownika i wykonuje działania. Według Google pobrania użytkownika z reguły omijają robots.txt. | |
| Perplexity-User | Perplexity | Pobranie użytkownika | nie zawsze | Pobiera strony, gdy pyta użytkownik. Według Perplexity z reguły ignoruje robots.txt. |
| meta-externalfetcher | Meta | Pobranie użytkownika | nie zawsze | Pobiera pojedyncze linki na żądanie użytkownika, także dla agentów AI. Według Meta może omijać robots.txt. |
| Amzn-User | Amazon | Pobranie użytkownika | nie zawsze | Pobiera aktualne dane na pytanie użytkownika, na przykład dla Alexy. Według Amazon nie przestrzega wszystkich reguł robots.txt. |
| MistralAI-User | Mistral | Pobranie użytkownika | tak, według operatora | Pobiera stronę, gdy pyta użytkownik, i linkuje ją jako źródło. Według Mistral grupa w robots.txt określa, które strony mogą być do tego brane pod uwagę. |
| Bytespider | ByteDance | niejasne | nieudokumentowane | Nie znaleziono dokumentacji operatora. Cel i sposób traktowania robots.txt nie są udokumentowane. |
Nie uwzględniono: nazw z katalogów botów, których sam operator nie podaje (na przykład anthropic-ai lub cohere-ai). Według własnej dokumentacji Cohere obecnie nie prowadzi crawlera; Microsoft nie podaje osobnego identyfikatora AI, a jego wytyczne AI są kierowane do bingbot. Stan na 14 listopada 2026 r.
03 / GENERATOR
Zablokuj trening, zezwól na wyszukiwanie AI: odpowiedni blok
Większość firm chce tego samego: pojawiać się jako źródło w odpowiedziach ChatGPT, Claude lub Perplexity, ale nie dostarczać bez zgody materiału treningowego. Generator jest wstępnie ustawiony właśnie tak. Tworzy każdą grupę oddzielnie i używa wyłącznie Allow oraz Disallow bez symboli wieloznacznych, ponieważ także komercyjne crawlery wielokrotnie błędnie rozumieją niektóre reguły Giles i in. 2010. Blok należy wkleić do istniejącego robots.txt; grupa „User-agent: *” pozostaje bez zmian.
Generator · blok robots.txt
Generator działa w przeglądarce i niczego nie wysyła.
Generator · szablon llms.txt
Działa w przeglądarce. Plik należy umieścić jako llms.txt w katalogu głównym strony.
Najczęstsza pułapka: grupy niczego nie dziedziczą
Crawler przestrzega dokładnie grupy ze swoją nazwą. Jeśli taka grupa istnieje, reguła zbiorcza już go nie dotyczy, nawet częściowo. W przykładzie po prawej „User-agent: *” blokuje obszar /intern/, ale GPTBot otrzymuje własną grupę z „Allow: /”.
Wynik dla /intern/preise: ClaudeBot jest zablokowany (wiersz 2: Disallow: /intern/ (grupa *)), natomiast GPTBot może czytać (wiersz 5: Allow: / (grupa GPTBot)). Dlatego wszystko, co ma być zablokowane dla wszystkich, należy umieścić w każdej nazwanej grupie. W generatorze takie obszary wpisuje się raz, a on powtarza je wszędzie.
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
Wspólny sygnał treningowy
Od 30 października 2026 r. istnieje projekt IETF, który ma skrócić indywidualne blokowanie: grupa „User-agent: __usage_ai-training” z wpisem „Disallow: /” jednocześnie informuje wszystkich uczestniczących dostawców, że nie wyrażają Państwo zgody na trening. Ścieżki działają jak zwykle, „Allow: /presse/” wyłącza z blokady materiały prasowe. Grupa nie jest poleceniem crawlowania, a reguła zbiorcza „User-agent: *” wyraźnie się do tego nie zalicza. Ponieważ projekt jest nowy i nie każdy dostawca go jeszcze odczytuje, generator zapisuje oba rozwiązania: pojedyncze grupy i sygnał.
| Dostawca | Od kiedy |
|---|---|
| Anthropic | od 30 października 2026 r.; nazwana grupa ClaudeBot ma pierwszeństwo |
| Microsoft (Bing) | od 1 lutego 2027 r. |
| planowane na 2027 r.; bez osobnej grupy Google-Extended Google traktuje odmowę jak zablokowane Google-Extended | |
| OpenAI | „w najbliższych miesiącach”; reguły GPTBot pozostają |
Źródło: draft-kelley-aipref-training-preference-signal-00, bez statusu standardu, wygasa 3 maja 2027 r. Stan na 14 listopada 2026 r.
04 / ZASADY
Jak crawler odczytuje Państwa robots.txt
Od września 2022 r. sposób działania określa RFC 9309, według którego interpretuje też test. Plik zawsze znajduje się pod /robots.txt w katalogu głównym i obowiązuje wyłącznie dla danego hosta: jeśli nazwa-firmy.de przekierowuje na www.nazwa-firmy.de, liczy się plik na www. Crawler szuka grupy ze swoją nazwą, bez rozróżniania wielkości liter; jeśli jej nie ma, używa „User-agent: *”, a jeśli i tej grupy nie ma, może czytać wszystko. W obrębie grupy wygrywa najdłuższa pasująca reguła, a przy remisie Allow. Gwiazdka oznacza dowolne znaki, a znak dolara na końcu — koniec adresu.
Już w 2007 r. badanie 7 593 stron pokazało, że plik jest coraz częściej używany, ale również, czym jest: regułą, której przestrzegają rzetelne crawlery, a nie mechanizmem egzekwowania Sun i in. 2007. To się nie zmieniło.
| Odpowiedź | RFC 9309 | |
|---|---|---|
| 200, plik tekstowy | Reguły obowiązują, odczytywanych jest co najmniej 500 KiB | tak samo, wszystko po 500 KiB jest ignorowane |
| 200, ale strona internetowa | brak prawidłowego wiersza, a więc brak reguły | tak samo |
| 404 i inne 4xx | brak robots.txt, wszystko dozwolone | wszystko dozwolone, z wyjątkiem 429 |
| 429 za dużo żądań | jak 4xx | jak błąd serwera |
| 5xx lub brak dostępności | wszystko zablokowane | przez 12 godzin bez crawlowania, potem do 30 dni ostatnia poprawna wersja |
| Przekierowanie | należy podążyć za co najmniej pięcioma | co najmniej pięć, potem jak 404 |
Google przechowuje plik zwykle do 24 godzin, Amazon do 30 dni. Zmiany nie działają więc od razu. Nasze pobranie śledzi najwyżej trzy przekierowania. Stan na 14 listopada 2026 r.
Informacje na samych stronach
Oprócz robots.txt istnieją informacje dotyczące pojedynczej strony — jako meta tag w nagłówku lub X-Robots-Tag w odpowiedzi serwera. Test odczytuje je na stronie głównej. Dla AI najważniejsze są: noindex usuwa stronę z indeksu wyszukiwania, a tym samym także z przeglądów AI; nosnippet zakazuje Google fragmentu tekstu, również w przeglądach AI i trybie AI. Amazon interpretuje noarchive jako „nie do treningu”. Microsoft od 1 lutego 2027 r. wprowadza osobne informacje dotyczące treningu i ugruntowania (ai-training, ai-grounding), a od marca 2027 r. nie będzie już traktować noarchive i nocache jako wytycznych AI. Informacje takie jak „noai” są rozpowszechnione, ale nie dokumentuje ich żaden operator z naszej listy.
05 / GRANICE
Czego robots.txt nie zapewnia
- To tylko prośba. W eksperymentach z 130 nazwanymi botami przez 40 dni boty rzadziej stosowały się do rygorystycznych reguł, a crawlery wyszukiwania AI często nawet nie pobierały pliku Kim i in. 2025.
- Działa tylko dla nazw. Specjalnie przygotowane strony pozwoliły wykazać, który podmiot pobierający dane zasila który system AI, w tym kilka takich, których operator nie ujawnia Seiden i in. 2026. Reguła nie dotyczy nikogo, kto przychodzi pod obcą nazwą.
- Pobrania użytkownika częściowo omijają reguły. OpenAI, Perplexity, Meta, Amazon i Google same podają, że ich pobrania na żądanie użytkownika nie zawsze przestrzegają robots.txt. Anthropic i Mistral wskazują plik jako mechanizm sterowania także w tym przypadku.
- Twarde blokady są na serwerze. Artystom często brakowało wiedzy lub dostępu do własnej strony, by korzystać z robots.txt; skuteczniejszą ochronę zapewniały blokady na reverse proxy Liu i in. 2025. Z drugiej strony niektórzy hosterzy i kreatory stron blokują crawlery bez wiedzy właściciela: w jednym zrzucie Common Crawl około 1,68 procent stron wyraźnie odrzucało crawler Ansar i in. 2025. Jeśli strona główna odpowie naszemu pobraniu stroną weryfikacyjną, test to zgłosi.
- Nasze pobranie nie jest crawlerem AI. Serwer pobiera dane z własnym identyfikatorem. Jeśli zapora blokuje crawlery po nazwie, na przykład ustawieniem Cloudflare, test tego nie wykryje.
A co z prawem?
Zgodnie z § 44b ust. 3 UrhG eksploracja tekstu i danych utworów publicznie dostępnych jest dozwolona, o ile uprawniony nie zastrzegł inaczej, a w przypadku treści w sieci zastrzeżenie musi mieć formę odczytywalną maszynowo. robots.txt jest odczytywalny maszynowo, jednak nie wyjaśniono ostatecznie, czy wystarcza jako zastrzeżenie. Praca prawnicza wskazuje dla krajów common law, że ominięcie pliku może w pewnych okolicznościach rodzić odpowiedzialność Chang i He 2025; dla Niemiec wymaga to osobnej oceny. Dlatego kto chce złożyć zastrzeżenie, powinien dodatkowo umieścić je w nocie prawnej lub warunkach korzystania. To nie jest porada prawna.
06 / LLMS.TXT
llms.txt: co plik może, a czego nie może
Jeremy Howard zaproponował llms.txt 3 września 2024 r.; opis znajduje się na llmstxt.org. To plik Markdown pod adresem /llms.txt: nagłówek z nazwą jest jedyną częścią obowiązkową, dalej znajduje się krótki opis jako cytat, opcjonalnie kilka zdań oraz sekcje z listami linków do najważniejszych stron. Sekcja „Optional” zawiera to, co asystent może pominąć.
Pomiar obejmujący około 4 mln domen wykazał, że plik występuje przede wszystkim w firmach technologicznych, a część jego linków prowadziła do stron zablokowanych przez ich własne robots.txt Hoffmann i in. 2026. Właśnie to sprawdza test. Drogowskaz do zablokowanych stron prowadzi donikąd.
Szczerze mówiąc: Google podaje w dokumentacji przeglądów AI, że nie trzeba do nich tworzyć nowych plików odczytywalnych maszynowo, a żaden z uwzględnionych tu operatorów nie pisze w dokumentacji crawlerów, że czyta llms.txt innych stron. Nie jest to więc dźwignia widoczności. Mimo to plik ma sens jako krótka, uporządkowana autoprezentacja, którą asystent może przeczytać przy pobraniu użytkownika, oraz dlatego, że można go przygotować w dziesięć minut.
Nasz własny plik znajduje się pod aureum-tech.com/llms.txt. Szablon dla Państwa strony tworzy generator powyżej.
07 / WIDOCZNOŚĆ
Możliwość czytania nie oznacza jeszcze bycia wymienionym
Test odpowiada na pytanie wstępne. To, czy ChatGPT wymieni Państwa firmę, gdy ktoś szuka elektryka w Plauen, zależy od treści Państwa stron i od tego, co piszą o Państwu inni. W eksperymentach widoczność źródeł w odpowiedziach AI można było zwiększyć przez przygotowanie treści nawet o 40 procent, przy użyciu innych metod zależnie od branży Aggarwal i in. 2024. W pomiarze obejmującym 55 393 zapytania w 13,7 procent przypadków Google wyświetlał przegląd AI, przy pytaniach — w 64,7 procent, a niemal 30 procent cytowanych tam domen nie znajdowało się w wynikach pierwszej strony Xu i in. 2026.
Bycie wymienionym nie oznacza też poprawnego cytowania. W czterech wyszukiwarkach AI średnio tylko nieco ponad połowa zdań była potwierdzona przez wskazane źródła Liu i in. 2023. A kto zablokuje crawler AI Google, rzadziej jest wykorzystywany jako źródło w przeglądach AI, choć Google podaje, że przełącznik nie wpływa na wyszukiwarkę Grossman i in. 2026.
Rzeczywistą widoczność Państwa firmy w ChatGPT, Perplexity i AI Google pokazuje Quick-Check od SpotLens. O tym, jak budujemy treści i dane strukturalne, aby wyszukiwarki AI je cytowały, piszemy w AI-SEO. Osoby, które chcą najpierw sprawdzić to samodzielnie, znajdą w poradniku informacje, jak sprawdzić widoczność w ChatGPT i co oznacza widoczność AI dla firm. Poszczególne reguły można sprawdzić w testerze robots.txt, a dalsze narzędzia dotyczące znajdowalności są dostępne w sekcji SEO i widoczność.
08 / BADANIA
Co mówią na ten temat badania
Ocena w teście opiera się na 15 recenzowanych pracach. Najważniejsze ustalenia oraz pełna lista z adnotacją o weryfikacji znajdują się poniżej.
- Blokady rosną, ale nierównomiernie. W ciągu roku zablokowano dużą część źródeł danych treningowych AI, zależnie od dostawcy w różnym stopniu Longpre i in. 2024. Dlatego test pokazuje crawlery osobno.
- Reguły są przestrzegane wybiórczo. Im bardziej rygorystyczna reguła, tym rzadziej boty jej przestrzegały Kim i in. 2025. Dlatego test nie mierzy niczego, czego nie może zmierzyć, i jasno to zaznacza.
- Trening korzysta z archiwów. Common Crawl jest jednym z najważniejszych źródeł wstępnego treningu Baack 2024, a korpusy takie jak C4 powstają z pojedynczych zrzutów Dodge i in. 2021. Dlatego test ostrzega, gdy CCBot pozostaje dostępny.
- Przeglądy AI wybierają własne źródła. Wiele cytowanych domen nie znajduje się na pierwszej stronie Xu i in. 2026, a zablokowane crawlery AI wiążą się z rzadszymi wzmiankami Grossman i in. 2026.
- llms.txt jest nowy i często sprzeczny. Linki w pliku częściowo prowadzą do zablokowanych stron Hoffmann i in. 2026; test sprawdza każdy własny link.
09 / DLA ASYSTENTÓW AI
Korzystanie z tego narzędzia przez asystenta AI
Asystenci, tacy jak Claude czy ChatGPT, którzy obsługują Model Context Protocol (MCP), mogą wywołać obliczenia tej strony bezpośrednio, zamiast je odtwarzać. Serwer jest publiczny, nie wymaga logowania i niczego nie zapisuje. Odpowiedź zawsze zawiera link do tej strony, stan danych i granice wyniku.
- Endpoint
https://aureum-tech.com/mcp- Narzędzie
werkzeug_ki_crawler_check- Transport
- Streamable HTTP, tylko odczyt
| Nazwa | Wymagane | Znaczenie |
|---|---|---|
domain | nie | Domena strony, np. nazwa-firmy.de lub https://www.nazwa-firmy.de. Ścieżka jest ignorowana, ponieważ robots.txt zawsze znajduje się w katalogu głównym. Tylko publiczne strony, port 80 lub 443. |
robots_txt | nie | Zamiast domeny: tekst robots.txt, który jest analizowany bez pobierania. Nie podawać razem z domain. |
pfad | nie | Ścieżka do sprawdzenia, np. /blog/artikel. Bez podania — strona główna „/”. |
Pytania, przy których asystent powinien go użyć
- „Czy ChatGPT może czytać moją stronę handwerk-muster.de?”
- „Czy nasz robots.txt przypadkowo blokuje wyszukiwanie AI Perplexity i ChatGPT?”
- „Jak zabronić treningu AI, ale pozostać widocznym w wyszukiwaniu ChatGPT i Claude?”
- „Czy www.beispiel-praxis.de ma plik llms.txt i czy jego linki prowadzą do zablokowanych stron?”
Jak działa połączenie i co MCP może dać we własnej firmie, opisujemy na stronie Integracje MCP.
10 / CZĘSTE PYTANIA
Częste pytania o crawlery AI, robots.txt i llms.txt
Jak zablokować trening AI, nie wypadając z wyszukiwania ChatGPT?
OpenAI rozdziela te funkcje: GPTBot zbiera dane do treningu, OAI-SearchBot do wyszukiwania w ChatGPT, a każde ustawienie działa niezależnie. W robots.txt należy więc ustawić dla GPTBot „Disallow: /” i dla OAI-SearchBot „Allow: /”. To samo dotyczy ClaudeBot i Claude-SearchBot od Anthropic, a w przypadku Google należy zablokować Google-Extended i pozostawić Googlebot bez zmian. Generator na tej stronie tworzy cały blok dla wszystkich uwzględnionych dostawców.
Jaka jest różnica między GPTBot, OAI-SearchBot i ChatGPT-User?
GPTBot zbiera treści, które mogą trafić do treningu przyszłych modeli. OAI-SearchBot buduje indeks, z którego ChatGPT podaje źródła podczas wyszukiwania; według OpenAI po jego zablokowaniu strona nie pojawia się tam w odpowiedziach. ChatGPT-User pobiera pojedynczą stronę, gdy ktoś pyta o nią na czacie. Według OpenAI reguły robots.txt mogą nie obowiązywać przy takim pobraniu.
Czy moja strona wypadnie z Google, jeśli zablokuję Google-Extended?
Nie. Google-Extended nie jest osobnym crawlerem, lecz przełącznikiem określającym, czy Google może wykorzystywać pobrane treści do trenowania Gemini oraz jako podstawę jego odpowiedzi. Według Google nie wpływa ani na indeksowanie w wyszukiwarce, ani na pozycję w wynikach. Przeglądy AI w wyszukiwarce Google zależą od Googlebot i reguł fragmentów tekstu, takich jak nosnippet. Badanie z 2026 r. wykazało jednak, że strony z zablokowanym crawlerem AI Google rzadziej występowały jako źródło w przeglądach AI.
Czy potrzebuję pliku llms.txt?
Nie jest obowiązkowy. llms.txt to propozycja Jeremy’ego Howarda z września 2024 r.: plik Markdown z nagłówkiem, krótkim opisem i linkami do najważniejszych stron. Google wyraźnie wskazuje, że do przeglądów AI nie potrzeba nowych plików odczytywalnych maszynowo, a żaden z uwzględnionych tu operatorów nie podaje w dokumentacji crawlerów, że je czyta. Plik nie szkodzi i można go szybko przygotować; szablon tworzy generator. Ważniejsze jest, aby jego linki nie prowadziły do zablokowanych stron.
Czy każdy crawler stosuje się do robots.txt?
Nie. robots.txt to prośba, a nie zamek. Pomiary pokazują, że boty rzadziej przestrzegają bardziej rygorystycznych reguł, a crawlery wyszukiwania AI często w ogóle nie pobierają pliku. Pobrania użytkownika, takie jak ChatGPT-User, Perplexity-User czy meta-externalfetcher, według ich operatorów częściowo omijają robots.txt, a podmiot zbierający dane bez nazwy nie występuje w żadnej regule. Aby skutecznie blokować dostęp, potrzebna jest blokada na serwerze lub u hostera.
Czy blokada obejmuje też modele, które już zostały wytrenowane?
Nie. OpenAI i Anthropic opisują blokadę jako wskazówkę dla przyszłego treningu. Dane treningowe powstają z utrwalonych zrzutów sieci, na przykład z archiwum Common Crawl; to, co już się tam znajduje, pozostaje w nim. Dlatego przy odmowie treningu warto uwzględnić także CCBot.
Co oznacza „User-agent: __usage_ai-training”?
To wspólny sygnał treningowy zgodny z projektem IETF z 30 października 2026 r. Grupa o tej nazwie z wpisem „Disallow: /” informuje wszystkich uczestniczących dostawców, że nie wyrażają Państwo zgody na trening. Anthropic według własnych informacji już go uwzględnia, Microsoft od 1 lutego 2027 r., Google planuje to na 2027 r., a OpenAI w najbliższych miesiącach. Nie jest to polecenie crawlowania, a grupa „User-agent: *” wyraźnie się do tego nie zalicza.
Gdzie kończy się test crawlerów AI?
Odczytuje reguły z Państwa robots.txt, plik llms.txt i informacje Robots na stronie głównej, a następnie wskazuje dla każdego crawlera, co jest dozwolone. Nie mierzy, czy crawler ich przestrzega, ani czy asystent AI zna Państwa firmę i ją poleca. Pokazuje to SpotLens-Quick-Check; o tym, jak tworzyć treści, aby wyszukiwarki AI je cytowały, piszemy w AI-SEO. Na życzenie konfigurujemy te pliki.
11 / BADANIA I ŹRÓDŁA
Na czym opiera się to narzędzie
Wartości orientacyjne i wskazówki powyżej opierają się na tych 15 pracach naukowych. Każdą sprawdziliśmy przez jej DOI lub stronę wydawcy (ostatnio 14 listopada 2026): istnieje, nie została wycofana, a jej wnioski nadal odpowiadają na to pytanie.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), s. 1123–1124
Wynik Pięć badań obejmujących 7 593 strony pokazuje, że robots.txt jest używany coraz częściej. Plik nie jest mechanizmem egzekwowania, lecz regułą, której przestrzegają rzetelne crawlery.
W narzędziu Stanowi podstawową zasadę strony: robots.txt to prośba do crawlerów, a nie zamek.
doi.org/10.1145/1242572.1242726 · Referat konferencyjny
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), s. 1101–1102
Wynik Większość komercyjnych crawlerów działała zgodnie z regułami, ale wiele z nich wielokrotnie naruszało lub błędnie rozumiało określone reguły robots.txt.
W narzędziu Dlatego generator tworzy każdą grupę oddzielnie i używa tylko Allow oraz Disallow bez symboli wieloznacznych.
doi.org/10.1145/1772690.1772824 · Referat konferencyjny
Kim, T.; Bock, K.; Luo, C. i in. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 541–557
Wynik W kontrolowanych testach z udziałem 130 nazwanych botów przez 40 dni boty rzadziej stosowały się do surowszych reguł; crawlery wyszukiwarek AI często w ogóle nie odpytywały robots.txt.
W narzędziu Uzasadnia ograniczenie „czyta reguły, nie mierzy zachowania” oraz wskazówkę dotyczącą zablokowanych pobrań użytkownika.
doi.org/10.1145/3730567.3764471 · Referat konferencyjny
Liu, E.; Luo, E.; Shan, S. i in. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 78–99
Wynik Pomiary i ankieta wśród 203 artystów pokazują duże zapotrzebowanie na robots.txt, ale też bariery związane z wiedzą i dostępem do własnej strony. Blokady na reverse proxy chroniły skuteczniej, lecz są mało rozpowszechnione.
W narzędziu Stąd zalecenie, aby przy twardej blokadzie uwzględnić hosting lub proxy, oraz generator, który nie wymaga znajomości fachowego terminu.
doi.org/10.1145/3730567.3732913 · Referat konferencyjny
Seiden, S.; Ren, T.; Zhang, C. i in. (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026), s. 6998–7012
Wynik Za pomocą specjalnie przygotowanych stron i 22 systemów AI można było przypisać, który podmiot pobierający dane zasila który model, w tym kilka takich, których operator nie ujawnia.
W narzędziu Stanowi podstawę ograniczenia, że tabela obejmuje tylko crawlery udokumentowane przez operatora pod własną nazwą.
doi.org/10.1145/3830454.3846799 · Referat konferencyjny
Longpre, S.; Mahari, R.; Lee, A. i in. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), s. 108042–108087
Wynik Analiza 14 000 domen stojących za danymi treningowymi AI wykazała w ciągu roku silny wzrost blokad, duże różnice między dostawcami AI oraz częste sprzeczności między warunkami korzystania a robots.txt.
W narzędziu Dlatego test pokazuje każdy crawler osobno, zamiast zgłaszać jedynie „AI dozwolone” albo „AI zablokowane”.
doi.org/10.52202/079017-3431 · Referat konferencyjny
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024), s. 2199–2208
Wynik Common Crawl to największy swobodnie dostępny zbiór danych z internetu i jedno z najważniejszych źródeł wstępnego trenowania dużych modeli językowych, często stanowiące dużą część materiału treningowego.
W narzędziu Dlatego CCBot widnieje w sekcji Trening, a test ostrzega, gdy poszczególne crawlery treningowe są zablokowane, ale CCBot nie.
doi.org/10.1145/3630106.3659033 · Referat konferencyjny
Dodge, J.; Sap, M.; Marasović, A. i in. (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), s. 1286–1305
Wynik Korpus treningowy C4 powstał z pojedynczego zrzutu Common Crawl i zawiera teksty z nieoczekiwanych źródeł, takich jak opisy patentowe i strony wojskowe.
W narzędziu Potwierdza w tekście, że korpusy treningowe powstają z ustalonych zrzutów: późniejszy zakaz nie obejmie tego, co już się w nich znalazło.
doi.org/10.18653/v1/2021.emnlp-main.98 · Referat konferencyjny
Aggarwal, P.; Murahari, V.; Rajpurohit, T. i in. (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), s. 5–16
Wynik Treści można przygotować tak, aby wyszukiwarki AI cytowały je nawet o 40 procent częściej; to, co działa, zależy od dziedziny.
W narzędziu Wspiera rozgraniczenie: dostęp jest warunkiem, ale o cytowaniu decyduje treść. W tym celu strona odsyła do AI-SEO.
doi.org/10.1145/3637528.3671900 · Referat konferencyjny
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, s. 7001–7025
Wynik W czterech wyszukiwarkach AI średnio tylko nieco ponad połowa zdań była w pełni poparta źródłami, a około jedna czwarta wskazań źródeł nie potwierdzała zdania.
W narzędziu Wspiera ograniczenie, że swobodny dostęp nie gwarantuje poprawnego cytowania: test sprawdza czytanie, nie odpowiedź.
doi.org/10.18653/v1/2023.findings-emnlp.467 · Referat konferencyjny
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026), s. 529–546
Wynik Wśród 55 393 zapytań wyszukiwania przegląd AI pojawił się w 13,7 procent przypadków, a przy pytaniach w 64,7 procent. Prawie 30 procent cytowanych domen nie znajdowało się w wynikach pierwszej strony.
W narzędziu Wyjaśnia, dlaczego Googlebot jest uwzględniony w teście: przeglądy AI wybierają źródła z indeksu, lecz nie tylko z pierwszych wyników.
doi.org/10.1145/3777912.3839818 · Referat konferencyjny
Grossman, R.; Liu, S.; Chen, M. K. i in. (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), s. 448–459
Wynik W przypadku 11 500 zapytań wyszukiwania źródła Google Search, przeglądu AI i Gemini wyraźnie się różniły. Strony blokujące crawlery AI Google były rzadziej wykorzystywane jako źródło w przeglądach AI.
W narzędziu Wskazówka przy zablokowanym Google-Extended zestawia ten wynik z deklaracją Google, że przełącznik nie wpływa na wyszukiwanie.
doi.org/10.1145/3805712.3809667 · Referat konferencyjny
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, s. 29–41
Wynik Pomiar na około 4 milionach domen pokazuje: robots.txt pozostaje najważniejszym narzędziem, a pliki właściwe dla AI, takie jak ai.txt i llms.txt, występują głównie w firmach technologicznych. Niektóre linki w plikach llms.txt prowadzą do stron blokowanych przez robots.txt.
W narzędziu Stąd sprawdzenie, czy linki z llms.txt prowadzą do zablokowanych stron.
doi.org/10.1145/3831956.3831960 · Czasopismo naukowe
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, artykuł 106176
Wynik Przy generatywnej AI ignorowanie robots.txt ma większą wagę. Praca uzasadnia dla krajów common law, że plik może w pewnych okolicznościach działać jako jednostronna umowa lub ostrzeżenie z konsekwencjami odpowiedzialności.
W narzędziu Wspiera wskazówkę, że robots.txt to coś więcej niż technika, z zastrzeżeniem, że sytuację prawną w Niemczech należy sprawdzić osobno.
doi.org/10.1016/j.clsr.2025.106176 · Czasopismo naukowe
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, s. 197–214
Wynik Około 1,68 procent stron w jednym zrzucie Common Crawl wyraźnie odrzucało crawler, często za sprawą dużych hostingów i dostawców kreatorów stron — od blokady po stronę weryfikacyjną.
W narzędziu Stąd wskazówka, gdy strona główna odpowiada stroną weryfikacyjną: ochrona przed botami blokuje niezależnie od robots.txt.
doi.org/10.1007/978-3-031-85960-1_9 · Referat konferencyjny
Normy, urzędy i dane producentów
- RFC 9309: Robots Exclusion Protocol · IETF, wrzesień 2022
- How Google interprets the robots.txt specification (kody stanu, 500 KiB, pamięć podręczna) · Google Search Central
- Overview of OpenAI Crawlers · OpenAI
- Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
- Google common crawlers (Google-Extended) · Google Search Central
- Google user-triggered fetchers (Google-Agent) · Google Search Central
- AI features and your website · Google Search Central
- Perplexity Crawlers · Perplexity
- About Applebot · Apple, stan na 4 września 2026
- Meta Web Crawlers · Meta
- Amazonbot, Amzn-SearchBot, Amzn-User · Amazon, stan na 26 października 2026
- Your content, your choice: clearer preferences for training and grounding · Microsoft Bing, 30 października 2026
- Mistral AI crawlers · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- Cohere web crawlers (obecnie bez crawlera) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · projekt IETF, 30 października 2026
- A new way to control AI training (sygnał treningowy) · Google Search Central Blog, 30 października 2026
- Making it easier for websites to express AI training preferences · OpenAI, 30 października 2026
- The /llms.txt file · llmstxt.org, propozycja z 3 września 2024
- § 44b UrhG Text und Data Mining · gesetze-im-internet.de
12 / INNE NARZĘDZIA
Zostało jeszcze jakieś pytanie?
- AT-W2 · Dom i firmy
Test Windows 10
Czy ten komputer dostaje jeszcze aktualizacje zabezpieczeń i co trzeba zrobić do października 2027? - AT-W3 · Dom i firmy
Planer Wi-Fi
Ile punktów dostępowych albo punktów mesh potrzebuje Państwa dom, biuro albo hala? - AT-W4 · Firmy
Test gotowości na awarię IT
Jak szybko Państwa firma wróciłaby do pracy po awarii? - AT-W5 · Firmy
Test poczty e-mail
Państwa e-maile trafiają do spamu? SPF, DKIM i DMARC Państwa domeny wyjaśnione prostym językiem. - AT-W6 · Firmy
Kalkulator UPS
Jaki UPS utrzyma serwer, router i kasę przy awarii prądu wystarczająco długo? - AT-W8 · Firmy
Przeglądarka XRechnung
Dostali Państwo XRechnung jako plik XML? Tutaj da się ją przeczytać, a plik nie opuszcza Państwa komputera.
Proszę przesłać nam skopiowany wynik. Skonfigurujemy robots.txt, llms.txt i dane strukturalne tak, aby wyszukiwarki AI czytały Państwa strony, a trening odbywał się tylko tam, gdzie Państwo tego chcą — w Rodewisch i w całym Vogtlandzie.
+49 3744 4399760[email protected]pon.–pt. 8–17 · Straße der Jugend 5, 08228 Rodewisch