Narzędzie AT-W29REV. 2026-A

Test crawlerów AI: czy ChatGPT, Claude i Perplexity mogą czytać Państwa stronę?

To, czy asystent AI może czytać Państwa stronę, określa robots.txt: osobna grupa dla każdego crawlera, a w przeciwnym razie obowiązuje reguła zbiorcza „User-agent: *”. Liczy się cel. GPTBot i ClaudeBot zbierają dane do treningu, OAI-SearchBot i Claude-SearchBot do wyszukiwania AI, a ChatGPT-User pobiera stronę, gdy ktoś pyta o nią na czacie. Test odczytuje reguły dla 27 crawlerów, sprawdza llms.txt i tworzy odpowiedni blok.

  • bezpłatnie
  • bez rejestracji
  • 5 minut w pamięci podręcznej

Wpisz domenę, sprawdź dostęp dla każdego crawlera

Pobranie · robots.txt, llms.txt i strona główna

Test odczytuje reguły w aktualnej postaci na serwerze i interpretuje je zgodnie z RFC 9309. O tym, czy crawler ich przestrzega, decyduje jego operator.

Na przykład nazwa-firmy.de. Jeśli strona główna przekierowuje na www., test sprawdza ją tam.

Bez podania — strona główna. Z /blog lub /leistungen można sprawdzić, czy dokładnie ten obszar jest dostępny.

Domena trafia na nasz serwer w celu sprawdzenia. Serwer pobiera pliki robots.txt i llms.txt oraz początek strony głównej. Domena i wynik nie są zapisywane w dziennikach. Na potrzeby kolejnych sprawdzeń oba pozostają w pamięci operacyjnej przez maksymalnie pięć minut.

Bez pobierania: wklej tekst robots.txt

Na przykład dla pliku, który nie jest jeszcze dostępny online. Tekst pozostaje w przeglądarce; obowiązuje ścieżka podana powyżej.

Wynik

Wpisz powyżej domenę. Pobranie trwa kilka sekund.

Jakie crawlery AI istnieją i po co czytają

Duzi dostawcy wysyłają nie jeden crawler, lecz kilka — zależnie od celu. To najważniejsza kwestia przy konfiguracji: kto blokuje „AI”, zazwyczaj wypada również z wyszukiwania AI i nie jest tam już podawany jako źródło. Od 2023 r. strony coraz częściej blokują dostawców AI, przy czym robią to bardzo różnie; badacze często znajdowali sprzeczności między warunkami korzystania a robots.txt Longpre i in. 2024. Dlatego test pokazuje każdy crawler osobno.

TRENING, NP. GPTBOT, CLAUDEBOT, CCBOTPAŃSTWA STRONAROBOTS.TXTCRAWLER ZBIERA DANEPRZYSZŁYMODELWYSZUKIWANIE AI, NP. OAI-SEARCHBOT, PERPLEXITYBOTPAŃSTWA STRONAROBOTS.TXTINDEKS WYSZUKIWANIAODPOWIEDŹ ZEŹRÓDŁOPOBRANIE UŻYTKOWNIKA, NP. CHATGPT-USERPYTANIE NA CZACIEPOBRANIE JEDNEJ STRONYPAŃSTWA STRONATRENING, NP. GPTBOT,CLAUDEBOT, CCBOTPAŃSTWA STRONAROBOTS.TXTCRAWLER ZBIERA DANEPRZYSZŁY MODELWYSZUKIWANIE AI, NP. OAI-SEARCHBOT,PERPLEXITYBOTPAŃSTWA STRONAROBOTS.TXTINDEKS WYSZUKIWANIAODPOWIEDŹ ZE ŹRÓDŁEMPOBRANIE UŻYTKOWNIKA, NP. CHATGPT-USERPYTANIE NA CZACIEPOBRANIE JEDNEJ STRONYPAŃSTWA STRONA
RYS. 1 · TRZY DROGI, KTÓRYMI AI CZYTA PAŃSTWA STRONĘZŁOTO = PAŃSTWA REGUŁA W ROBOTS.TXT · PRZERYWANA LINIA = REGUŁA NIE ZAWSZE DZIAŁA
Cztery rodzaje według informacji operatorów
RodzajWpisyCo robią
Wyszukiwanie AI11Buduje indeks, z którego asystent AI lub wyszukiwarka pobiera odpowiedzi ze źródłami. Po zablokowaniu strona pojawia się tam jako źródło rzadziej albo wcale.
Trening6Zbiera treści, na których uczą się modele językowe. Zakaz dotyczy przyszłych treningów, nie modeli już wytrenowanych.
Przełącznik treningu2Nie jest osobnym crawlerem. Reguła określa, czy operator może użyć już pobranych treści do treningu.
Pobranie użytkownika7Pobiera pojedynczą stronę, ponieważ człowiek właśnie o nią pyta. Kilku operatorów podaje, że robots.txt nie obowiązuje w tym przypadku lub nie zawsze obowiązuje.

Dwa wpisy zasługują na bliższe spojrzenie. Common Crawl nie trenuje sam żadnego modelu, ale tworzy największe swobodnie dostępne archiwum sieci, będące jednym z najważniejszych źródeł wstępnego treningu dużych modeli językowych Baack 2024. Znany korpus treningowy C4 powstał na przykład z jednego takiego zrzutu Dodge i in. 2021. Dlatego kto nie zgadza się na trening, blokuje również CCBot; żadna reguła nie wycofa jednak treści już znajdujących się w zrzucie. Drugi wpis to Googlebot: jest na liście, ponieważ przeglądy AI i tryb AI wyszukiwarki Google opierają się na jego indeksie. Nie blokuje go nikt, kto chce być znajdowany w Google.

Wszystkie 27 uwzględnionych crawlerów

Lista crawlerów, sprawdzona 14 listopada 2026 r. na podstawie dokumentacji poszczególnych operatorów
Nazwa w robots.txtOperatorCelrobots.txt obowiązujeCo podaje operator
OAI-SearchBotOpenAIWyszukiwanie AItak, według operatoraZasila wyszukiwanie w ChatGPT. Kto go zablokuje, nie pojawia się tam jako źródło w odpowiedziach.
Claude-SearchBotAnthropicWyszukiwanie AItak, według operatoraWspiera wyszukiwanie w Claude. Po zablokowaniu strona rzadziej pojawia się tam w wynikach.
GooglebotGoogleWyszukiwanie AItak, według operatoraCrawler wyszukiwarki Google. Także przeglądy AI i tryb AI korzystają z tego indeksu; sterowanie odbywa się tam za pomocą nosnippet, max-snippet i noindex.
PerplexityBotPerplexityWyszukiwanie AItak, według operatoraBuduje indeks, z którego Perplexity linkuje źródła. Według operatora nie służy do treningu modeli.
ApplebotAppleWyszukiwanie AItak, według operatoraCrawler do wyszukiwania w Siri, Spotlight i Safari. Według Apple dane mogą także trafić do treningu modeli Apple; do tego służy Applebot-Extended.
meta-webindexerMetaWyszukiwanie AItak, według operatoraIndeksuje na potrzeby wyszukiwania w Meta AI, aby Meta mogła cytować i linkować treści.
Amzn-SearchBotAmazonWyszukiwanie AItak, według operatoraDo funkcji wyszukiwania w produktach Amazon, takich jak Alexa; według Amazon nie do treningu.
bingbotMicrosoftWyszukiwanie AItak, według operatoraCrawler Bing. Microsoft nie podaje osobnego identyfikatora AI; wytyczne dotyczące treningu i odpowiedzi AI będą od lutego 2027 r. kierowane do Bingbot.
MistralAI-IndexMistralWyszukiwanie AItak, według operatoraCrawluje wyłącznie dla indeksu wyszukiwania, według Mistral nie do treningu.
DuckAssistBotDuckDuckGoWyszukiwanie AItak, według operatoraPobiera strony w czasie rzeczywistym do odpowiedzi AI DuckDuckGo, ze wskazaniem źródeł. Według operatora nie do treningu.
YouBotYou.comWyszukiwanie AItak, według operatoraCrawler wyszukiwarki You.com. Przestrzega robots.txt, w tym Crawl-delay.
GPTBotOpenAITreningtak, według operatoraZbiera treści, które mogą trafić do treningu modeli OpenAI. Według OpenAI blokada oznacza: nie używać do treningu.
ClaudeBotAnthropicTreningtak, według operatoraZbiera treści, które mogą trafić do treningu modeli Anthropic. Anthropic przestrzega robots.txt oraz Crawl-delay.
meta-externalagentMetaTreningtak, według operatoraZbiera dane do treningu modeli AI i produktów Meta.
AmazonbotAmazonTreningtak, według operatoraUlepsza produkty Amazon, co może obejmować trening modeli AI Amazon. Nie uwzględnia Crawl-delay.
MistralAI-TrainingMistralTreningtak, według operatoraZbiera treści do danych treningowych modeli Mistral.
CCBotCommon CrawlTreningtak, według operatoraTworzy publicznie dostępne archiwum sieci. Common Crawl sam niczego nie trenuje, ale archiwum jest jednym z najważniejszych źródeł danych treningowych.
Google-ExtendedGooglePrzełącznik treningutak, według operatoraNie jest osobnym crawlerem, lecz przełącznikiem: czy pobrania Google mogą być wykorzystywane do treningu przyszłych modeli Gemini oraz ugruntowania odpowiedzi Gemini? Według Google nie wpływa na wyszukiwarkę Google.
Applebot-ExtendedApplePrzełącznik treningutak, według operatoraNie jest osobnym crawlerem. Po zablokowaniu Apple nie wykorzystuje treści do treningu swoich modeli; strona pozostaje w wyszukiwaniu.
ChatGPT-UserOpenAIPobranie użytkownikanie zawszePobiera stronę, gdy ktoś pyta o nią w ChatGPT. Według OpenAI reguły robots.txt mogą w tym przypadku nie obowiązywać.
Claude-UserAnthropicPobranie użytkownikatak, według operatoraPobiera strony, gdy użytkownicy zadają pytanie w Claude. Anthropic podaje, że jego boty przestrzegają robots.txt.
Google-AgentGooglePobranie użytkownikanie zawszePrzegląda internet na zlecenie użytkownika i wykonuje działania. Według Google pobrania użytkownika z reguły omijają robots.txt.
Perplexity-UserPerplexityPobranie użytkownikanie zawszePobiera strony, gdy pyta użytkownik. Według Perplexity z reguły ignoruje robots.txt.
meta-externalfetcherMetaPobranie użytkownikanie zawszePobiera pojedyncze linki na żądanie użytkownika, także dla agentów AI. Według Meta może omijać robots.txt.
Amzn-UserAmazonPobranie użytkownikanie zawszePobiera aktualne dane na pytanie użytkownika, na przykład dla Alexy. Według Amazon nie przestrzega wszystkich reguł robots.txt.
MistralAI-UserMistralPobranie użytkownikatak, według operatoraPobiera stronę, gdy pyta użytkownik, i linkuje ją jako źródło. Według Mistral grupa w robots.txt określa, które strony mogą być do tego brane pod uwagę.
BytespiderByteDanceniejasnenieudokumentowaneNie znaleziono dokumentacji operatora. Cel i sposób traktowania robots.txt nie są udokumentowane.

Nie uwzględniono: nazw z katalogów botów, których sam operator nie podaje (na przykład anthropic-ai lub cohere-ai). Według własnej dokumentacji Cohere obecnie nie prowadzi crawlera; Microsoft nie podaje osobnego identyfikatora AI, a jego wytyczne AI są kierowane do bingbot. Stan na 14 listopada 2026 r.

Zablokuj trening, zezwól na wyszukiwanie AI: odpowiedni blok

Większość firm chce tego samego: pojawiać się jako źródło w odpowiedziach ChatGPT, Claude lub Perplexity, ale nie dostarczać bez zgody materiału treningowego. Generator jest wstępnie ustawiony właśnie tak. Tworzy każdą grupę oddzielnie i używa wyłącznie Allow oraz Disallow bez symboli wieloznacznych, ponieważ także komercyjne crawlery wielokrotnie błędnie rozumieją niektóre reguły Giles i in. 2010. Blok należy wkleić do istniejącego robots.txt; grupa „User-agent: *” pozostaje bez zmian.

Generator · blok robots.txt

Czy dostawcy AI mogą wykorzystywać Państwa treści do treningu?

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, MistralAI-Training, CCBot, Bytespider

Czy usługi wyszukiwania AI mogą czytać Państwa strony i podawać je jako źródło?

OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer, Amzn-SearchBot, MistralAI-Index, DuckAssistBot, YouBot

Czy asystenci mogą pobrać stronę, gdy ktoś o nią pyta?

ChatGPT-User, Claude-User, Google-Agent, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User

To, co w Państwa robots.txt jest zablokowane pod „User-agent: *”, należy wpisać tutaj. Nazwane crawlery tego nie dziedziczą.

# KI-Crawler, erstellt mit dem KI-Crawler-Check von aureum-tech.com (Crawler-Liste Stand 14. November 2026)
# Training: gesperrt · KI-Suche: erlaubt · Nutzerabrufe: erlaubt
# Jeder Crawler befolgt nur die Gruppe mit seinem Namen. Was für alle gesperrt sein soll, steht deshalb in jeder Gruppe.

# Training (Schalter wie Google-Extended crawlen nicht selbst, sie regeln nur die Nutzung)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: MistralAI-Training
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

# KI-Suche: liefert Antworten mit Quellenangabe
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: meta-webindexer
Allow: /

User-agent: Amzn-SearchBot
Allow: /

User-agent: MistralAI-Index
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: YouBot
Allow: /

# Nutzerabrufe: laut mehreren Betreibern nicht immer an robots.txt gebunden
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Google-Agent
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: meta-externalfetcher
Allow: /

User-agent: Amzn-User
Allow: /

User-agent: MistralAI-User
Allow: /

# Gemeinsames Trainingssignal (IETF-Entwurf vom 30.10.2026, mehrere Anbieter haben es angekündigt)
User-agent: __usage_ai-training
Disallow: /

Generator działa w przeglądarce i niczego nie wysyła.

Generator · szablon llms.txt

Wyłącznie strony, które Państwa robots.txt udostępnia dla wyszukiwania AI. Szablon jest zgodny z propozycją z llmstxt.org.

# Name Ihrer Firma

> Ein Satz: Wer Sie sind, was Sie anbieten und wo.

## Wichtige Seiten

- [Leistungen](https://ihre-firma.de/leistungen): Was Sie anbieten
- [Kontakt](https://ihre-firma.de/kontakt): Telefon, Adresse, Öffnungszeiten

## Optional

- [Impressum](https://ihre-firma.de/impressum)

Działa w przeglądarce. Plik należy umieścić jako llms.txt w katalogu głównym strony.

Najczęstsza pułapka: grupy niczego nie dziedziczą

Crawler przestrzega dokładnie grupy ze swoją nazwą. Jeśli taka grupa istnieje, reguła zbiorcza już go nie dotyczy, nawet częściowo. W przykładzie po prawej „User-agent: *” blokuje obszar /intern/, ale GPTBot otrzymuje własną grupę z „Allow: /”.

Wynik dla /intern/preise: ClaudeBot jest zablokowany (wiersz 2: Disallow: /intern/ (grupa *)), natomiast GPTBot może czytać (wiersz 5: Allow: / (grupa GPTBot)). Dlatego wszystko, co ma być zablokowane dla wszystkich, należy umieścić w każdej nazwanej grupie. W generatorze takie obszary wpisuje się raz, a on powtarza je wszędzie.

User-agent: *
Disallow: /intern/

User-agent: GPTBot
Allow: /

Wspólny sygnał treningowy

Od 30 października 2026 r. istnieje projekt IETF, który ma skrócić indywidualne blokowanie: grupa „User-agent: __usage_ai-training” z wpisem „Disallow: /” jednocześnie informuje wszystkich uczestniczących dostawców, że nie wyrażają Państwo zgody na trening. Ścieżki działają jak zwykle, „Allow: /presse/” wyłącza z blokady materiały prasowe. Grupa nie jest poleceniem crawlowania, a reguła zbiorcza „User-agent: *” wyraźnie się do tego nie zalicza. Ponieważ projekt jest nowy i nie każdy dostawca go jeszcze odczytuje, generator zapisuje oba rozwiązania: pojedyncze grupy i sygnał.

Kto uwzględnia sygnał treningowy, według własnych informacji
DostawcaOd kiedy
Anthropicod 30 października 2026 r.; nazwana grupa ClaudeBot ma pierwszeństwo
Microsoft (Bing)od 1 lutego 2027 r.
Googleplanowane na 2027 r.; bez osobnej grupy Google-Extended Google traktuje odmowę jak zablokowane Google-Extended
OpenAI„w najbliższych miesiącach”; reguły GPTBot pozostają

Źródło: draft-kelley-aipref-training-preference-signal-00, bez statusu standardu, wygasa 3 maja 2027 r. Stan na 14 listopada 2026 r.

Jak crawler odczytuje Państwa robots.txt

Od września 2022 r. sposób działania określa RFC 9309, według którego interpretuje też test. Plik zawsze znajduje się pod /robots.txt w katalogu głównym i obowiązuje wyłącznie dla danego hosta: jeśli nazwa-firmy.de przekierowuje na www.nazwa-firmy.de, liczy się plik na www. Crawler szuka grupy ze swoją nazwą, bez rozróżniania wielkości liter; jeśli jej nie ma, używa „User-agent: *”, a jeśli i tej grupy nie ma, może czytać wszystko. W obrębie grupy wygrywa najdłuższa pasująca reguła, a przy remisie Allow. Gwiazdka oznacza dowolne znaki, a znak dolara na końcu — koniec adresu.

Już w 2007 r. badanie 7 593 stron pokazało, że plik jest coraz częściej używany, ale również, czym jest: regułą, której przestrzegają rzetelne crawlery, a nie mechanizmem egzekwowania Sun i in. 2007. To się nie zmieniło.

Co oznacza kod statusu robots.txt
OdpowiedźRFC 9309Google
200, plik tekstowyReguły obowiązują, odczytywanych jest co najmniej 500 KiBtak samo, wszystko po 500 KiB jest ignorowane
200, ale strona internetowabrak prawidłowego wiersza, a więc brak regułytak samo
404 i inne 4xxbrak robots.txt, wszystko dozwolonewszystko dozwolone, z wyjątkiem 429
429 za dużo żądańjak 4xxjak błąd serwera
5xx lub brak dostępnościwszystko zablokowaneprzez 12 godzin bez crawlowania, potem do 30 dni ostatnia poprawna wersja
Przekierowanienależy podążyć za co najmniej pięciomaco najmniej pięć, potem jak 404

Google przechowuje plik zwykle do 24 godzin, Amazon do 30 dni. Zmiany nie działają więc od razu. Nasze pobranie śledzi najwyżej trzy przekierowania. Stan na 14 listopada 2026 r.

Informacje na samych stronach

Oprócz robots.txt istnieją informacje dotyczące pojedynczej strony — jako meta tag w nagłówku lub X-Robots-Tag w odpowiedzi serwera. Test odczytuje je na stronie głównej. Dla AI najważniejsze są: noindex usuwa stronę z indeksu wyszukiwania, a tym samym także z przeglądów AI; nosnippet zakazuje Google fragmentu tekstu, również w przeglądach AI i trybie AI. Amazon interpretuje noarchive jako „nie do treningu”. Microsoft od 1 lutego 2027 r. wprowadza osobne informacje dotyczące treningu i ugruntowania (ai-training, ai-grounding), a od marca 2027 r. nie będzie już traktować noarchive i nocache jako wytycznych AI. Informacje takie jak „noai” są rozpowszechnione, ale nie dokumentuje ich żaden operator z naszej listy.

Czego robots.txt nie zapewnia

  • To tylko prośba. W eksperymentach z 130 nazwanymi botami przez 40 dni boty rzadziej stosowały się do rygorystycznych reguł, a crawlery wyszukiwania AI często nawet nie pobierały pliku Kim i in. 2025.
  • Działa tylko dla nazw. Specjalnie przygotowane strony pozwoliły wykazać, który podmiot pobierający dane zasila który system AI, w tym kilka takich, których operator nie ujawnia Seiden i in. 2026. Reguła nie dotyczy nikogo, kto przychodzi pod obcą nazwą.
  • Pobrania użytkownika częściowo omijają reguły. OpenAI, Perplexity, Meta, Amazon i Google same podają, że ich pobrania na żądanie użytkownika nie zawsze przestrzegają robots.txt. Anthropic i Mistral wskazują plik jako mechanizm sterowania także w tym przypadku.
  • Twarde blokady są na serwerze. Artystom często brakowało wiedzy lub dostępu do własnej strony, by korzystać z robots.txt; skuteczniejszą ochronę zapewniały blokady na reverse proxy Liu i in. 2025. Z drugiej strony niektórzy hosterzy i kreatory stron blokują crawlery bez wiedzy właściciela: w jednym zrzucie Common Crawl około 1,68 procent stron wyraźnie odrzucało crawler Ansar i in. 2025. Jeśli strona główna odpowie naszemu pobraniu stroną weryfikacyjną, test to zgłosi.
  • Nasze pobranie nie jest crawlerem AI. Serwer pobiera dane z własnym identyfikatorem. Jeśli zapora blokuje crawlery po nazwie, na przykład ustawieniem Cloudflare, test tego nie wykryje.

A co z prawem?

Zgodnie z § 44b ust. 3 UrhG eksploracja tekstu i danych utworów publicznie dostępnych jest dozwolona, o ile uprawniony nie zastrzegł inaczej, a w przypadku treści w sieci zastrzeżenie musi mieć formę odczytywalną maszynowo. robots.txt jest odczytywalny maszynowo, jednak nie wyjaśniono ostatecznie, czy wystarcza jako zastrzeżenie. Praca prawnicza wskazuje dla krajów common law, że ominięcie pliku może w pewnych okolicznościach rodzić odpowiedzialność Chang i He 2025; dla Niemiec wymaga to osobnej oceny. Dlatego kto chce złożyć zastrzeżenie, powinien dodatkowo umieścić je w nocie prawnej lub warunkach korzystania. To nie jest porada prawna.

llms.txt: co plik może, a czego nie może

Jeremy Howard zaproponował llms.txt 3 września 2024 r.; opis znajduje się na llmstxt.org. To plik Markdown pod adresem /llms.txt: nagłówek z nazwą jest jedyną częścią obowiązkową, dalej znajduje się krótki opis jako cytat, opcjonalnie kilka zdań oraz sekcje z listami linków do najważniejszych stron. Sekcja „Optional” zawiera to, co asystent może pominąć.

Pomiar obejmujący około 4 mln domen wykazał, że plik występuje przede wszystkim w firmach technologicznych, a część jego linków prowadziła do stron zablokowanych przez ich własne robots.txt Hoffmann i in. 2026. Właśnie to sprawdza test. Drogowskaz do zablokowanych stron prowadzi donikąd.

Szczerze mówiąc: Google podaje w dokumentacji przeglądów AI, że nie trzeba do nich tworzyć nowych plików odczytywalnych maszynowo, a żaden z uwzględnionych tu operatorów nie pisze w dokumentacji crawlerów, że czyta llms.txt innych stron. Nie jest to więc dźwignia widoczności. Mimo to plik ma sens jako krótka, uporządkowana autoprezentacja, którą asystent może przeczytać przy pobraniu użytkownika, oraz dlatego, że można go przygotować w dziesięć minut.

Nasz własny plik znajduje się pod aureum-tech.com/llms.txt. Szablon dla Państwa strony tworzy generator powyżej.

Możliwość czytania nie oznacza jeszcze bycia wymienionym

Test odpowiada na pytanie wstępne. To, czy ChatGPT wymieni Państwa firmę, gdy ktoś szuka elektryka w Plauen, zależy od treści Państwa stron i od tego, co piszą o Państwu inni. W eksperymentach widoczność źródeł w odpowiedziach AI można było zwiększyć przez przygotowanie treści nawet o 40 procent, przy użyciu innych metod zależnie od branży Aggarwal i in. 2024. W pomiarze obejmującym 55 393 zapytania w 13,7 procent przypadków Google wyświetlał przegląd AI, przy pytaniach — w 64,7 procent, a niemal 30 procent cytowanych tam domen nie znajdowało się w wynikach pierwszej strony Xu i in. 2026.

Bycie wymienionym nie oznacza też poprawnego cytowania. W czterech wyszukiwarkach AI średnio tylko nieco ponad połowa zdań była potwierdzona przez wskazane źródła Liu i in. 2023. A kto zablokuje crawler AI Google, rzadziej jest wykorzystywany jako źródło w przeglądach AI, choć Google podaje, że przełącznik nie wpływa na wyszukiwarkę Grossman i in. 2026.

Rzeczywistą widoczność Państwa firmy w ChatGPT, Perplexity i AI Google pokazuje Quick-Check od SpotLens. O tym, jak budujemy treści i dane strukturalne, aby wyszukiwarki AI je cytowały, piszemy w AI-SEO. Osoby, które chcą najpierw sprawdzić to samodzielnie, znajdą w poradniku informacje, jak sprawdzić widoczność w ChatGPT i co oznacza widoczność AI dla firm. Poszczególne reguły można sprawdzić w testerze robots.txt, a dalsze narzędzia dotyczące znajdowalności są dostępne w sekcji SEO i widoczność.

Co mówią na ten temat badania

Ocena w teście opiera się na 15 recenzowanych pracach. Najważniejsze ustalenia oraz pełna lista z adnotacją o weryfikacji znajdują się poniżej.

  • Blokady rosną, ale nierównomiernie. W ciągu roku zablokowano dużą część źródeł danych treningowych AI, zależnie od dostawcy w różnym stopniu Longpre i in. 2024. Dlatego test pokazuje crawlery osobno.
  • Reguły są przestrzegane wybiórczo. Im bardziej rygorystyczna reguła, tym rzadziej boty jej przestrzegały Kim i in. 2025. Dlatego test nie mierzy niczego, czego nie może zmierzyć, i jasno to zaznacza.
  • Trening korzysta z archiwów. Common Crawl jest jednym z najważniejszych źródeł wstępnego treningu Baack 2024, a korpusy takie jak C4 powstają z pojedynczych zrzutów Dodge i in. 2021. Dlatego test ostrzega, gdy CCBot pozostaje dostępny.
  • Przeglądy AI wybierają własne źródła. Wiele cytowanych domen nie znajduje się na pierwszej stronie Xu i in. 2026, a zablokowane crawlery AI wiążą się z rzadszymi wzmiankami Grossman i in. 2026.
  • llms.txt jest nowy i często sprzeczny. Linki w pliku częściowo prowadzą do zablokowanych stron Hoffmann i in. 2026; test sprawdza każdy własny link.

Korzystanie z tego narzędzia przez asystenta AI

Asystenci, tacy jak Claude czy ChatGPT, którzy obsługują Model Context Protocol (MCP), mogą wywołać obliczenia tej strony bezpośrednio, zamiast je odtwarzać. Serwer jest publiczny, nie wymaga logowania i niczego nie zapisuje. Odpowiedź zawsze zawiera link do tej strony, stan danych i granice wyniku.

Endpoint
https://aureum-tech.com/mcp
Narzędzie
werkzeug_ki_crawler_check
Transport
Streamable HTTP, tylko odczyt
Dane wejściowe
NazwaWymaganeZnaczenie
domainnieDomena strony, np. nazwa-firmy.de lub https://www.nazwa-firmy.de. Ścieżka jest ignorowana, ponieważ robots.txt zawsze znajduje się w katalogu głównym. Tylko publiczne strony, port 80 lub 443.
robots_txtnieZamiast domeny: tekst robots.txt, który jest analizowany bez pobierania. Nie podawać razem z domain.
pfadnieŚcieżka do sprawdzenia, np. /blog/artikel. Bez podania — strona główna „/”.

Pytania, przy których asystent powinien go użyć

  • „Czy ChatGPT może czytać moją stronę handwerk-muster.de?”
  • „Czy nasz robots.txt przypadkowo blokuje wyszukiwanie AI Perplexity i ChatGPT?”
  • „Jak zabronić treningu AI, ale pozostać widocznym w wyszukiwaniu ChatGPT i Claude?”
  • „Czy www.beispiel-praxis.de ma plik llms.txt i czy jego linki prowadzą do zablokowanych stron?”

Jak działa połączenie i co MCP może dać we własnej firmie, opisujemy na stronie Integracje MCP.

Częste pytania o crawlery AI, robots.txt i llms.txt

Jak zablokować trening AI, nie wypadając z wyszukiwania ChatGPT?

OpenAI rozdziela te funkcje: GPTBot zbiera dane do treningu, OAI-SearchBot do wyszukiwania w ChatGPT, a każde ustawienie działa niezależnie. W robots.txt należy więc ustawić dla GPTBot „Disallow: /” i dla OAI-SearchBot „Allow: /”. To samo dotyczy ClaudeBot i Claude-SearchBot od Anthropic, a w przypadku Google należy zablokować Google-Extended i pozostawić Googlebot bez zmian. Generator na tej stronie tworzy cały blok dla wszystkich uwzględnionych dostawców.

Jaka jest różnica między GPTBot, OAI-SearchBot i ChatGPT-User?

GPTBot zbiera treści, które mogą trafić do treningu przyszłych modeli. OAI-SearchBot buduje indeks, z którego ChatGPT podaje źródła podczas wyszukiwania; według OpenAI po jego zablokowaniu strona nie pojawia się tam w odpowiedziach. ChatGPT-User pobiera pojedynczą stronę, gdy ktoś pyta o nią na czacie. Według OpenAI reguły robots.txt mogą nie obowiązywać przy takim pobraniu.

Czy moja strona wypadnie z Google, jeśli zablokuję Google-Extended?

Nie. Google-Extended nie jest osobnym crawlerem, lecz przełącznikiem określającym, czy Google może wykorzystywać pobrane treści do trenowania Gemini oraz jako podstawę jego odpowiedzi. Według Google nie wpływa ani na indeksowanie w wyszukiwarce, ani na pozycję w wynikach. Przeglądy AI w wyszukiwarce Google zależą od Googlebot i reguł fragmentów tekstu, takich jak nosnippet. Badanie z 2026 r. wykazało jednak, że strony z zablokowanym crawlerem AI Google rzadziej występowały jako źródło w przeglądach AI.

Czy potrzebuję pliku llms.txt?

Nie jest obowiązkowy. llms.txt to propozycja Jeremy’ego Howarda z września 2024 r.: plik Markdown z nagłówkiem, krótkim opisem i linkami do najważniejszych stron. Google wyraźnie wskazuje, że do przeglądów AI nie potrzeba nowych plików odczytywalnych maszynowo, a żaden z uwzględnionych tu operatorów nie podaje w dokumentacji crawlerów, że je czyta. Plik nie szkodzi i można go szybko przygotować; szablon tworzy generator. Ważniejsze jest, aby jego linki nie prowadziły do zablokowanych stron.

Czy każdy crawler stosuje się do robots.txt?

Nie. robots.txt to prośba, a nie zamek. Pomiary pokazują, że boty rzadziej przestrzegają bardziej rygorystycznych reguł, a crawlery wyszukiwania AI często w ogóle nie pobierają pliku. Pobrania użytkownika, takie jak ChatGPT-User, Perplexity-User czy meta-externalfetcher, według ich operatorów częściowo omijają robots.txt, a podmiot zbierający dane bez nazwy nie występuje w żadnej regule. Aby skutecznie blokować dostęp, potrzebna jest blokada na serwerze lub u hostera.

Czy blokada obejmuje też modele, które już zostały wytrenowane?

Nie. OpenAI i Anthropic opisują blokadę jako wskazówkę dla przyszłego treningu. Dane treningowe powstają z utrwalonych zrzutów sieci, na przykład z archiwum Common Crawl; to, co już się tam znajduje, pozostaje w nim. Dlatego przy odmowie treningu warto uwzględnić także CCBot.

Co oznacza „User-agent: __usage_ai-training”?

To wspólny sygnał treningowy zgodny z projektem IETF z 30 października 2026 r. Grupa o tej nazwie z wpisem „Disallow: /” informuje wszystkich uczestniczących dostawców, że nie wyrażają Państwo zgody na trening. Anthropic według własnych informacji już go uwzględnia, Microsoft od 1 lutego 2027 r., Google planuje to na 2027 r., a OpenAI w najbliższych miesiącach. Nie jest to polecenie crawlowania, a grupa „User-agent: *” wyraźnie się do tego nie zalicza.

Gdzie kończy się test crawlerów AI?

Odczytuje reguły z Państwa robots.txt, plik llms.txt i informacje Robots na stronie głównej, a następnie wskazuje dla każdego crawlera, co jest dozwolone. Nie mierzy, czy crawler ich przestrzega, ani czy asystent AI zna Państwa firmę i ją poleca. Pokazuje to SpotLens-Quick-Check; o tym, jak tworzyć treści, aby wyszukiwarki AI je cytowały, piszemy w AI-SEO. Na życzenie konfigurujemy te pliki.

Na czym opiera się to narzędzie

Wartości orientacyjne i wskazówki powyżej opierają się na tych 15 pracach naukowych. Każdą sprawdziliśmy przez jej DOI lub stronę wydawcy (ostatnio 14 listopada 2026): istnieje, nie została wycofana, a jej wnioski nadal odpowiadają na to pytanie.

  1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), s. 1123–1124

    Wynik Pięć badań obejmujących 7 593 strony pokazuje, że robots.txt jest używany coraz częściej. Plik nie jest mechanizmem egzekwowania, lecz regułą, której przestrzegają rzetelne crawlery.

    W narzędziu Stanowi podstawową zasadę strony: robots.txt to prośba do crawlerów, a nie zamek.

  2. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), s. 1101–1102

    Wynik Większość komercyjnych crawlerów działała zgodnie z regułami, ale wiele z nich wielokrotnie naruszało lub błędnie rozumiało określone reguły robots.txt.

    W narzędziu Dlatego generator tworzy każdą grupę oddzielnie i używa tylko Allow oraz Disallow bez symboli wieloznacznych.

  3. Kim, T.; Bock, K.; Luo, C. i in. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 541–557

    Wynik W kontrolowanych testach z udziałem 130 nazwanych botów przez 40 dni boty rzadziej stosowały się do surowszych reguł; crawlery wyszukiwarek AI często w ogóle nie odpytywały robots.txt.

    W narzędziu Uzasadnia ograniczenie „czyta reguły, nie mierzy zachowania” oraz wskazówkę dotyczącą zablokowanych pobrań użytkownika.

  4. Liu, E.; Luo, E.; Shan, S. i in. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), s. 78–99

    Wynik Pomiary i ankieta wśród 203 artystów pokazują duże zapotrzebowanie na robots.txt, ale też bariery związane z wiedzą i dostępem do własnej strony. Blokady na reverse proxy chroniły skuteczniej, lecz są mało rozpowszechnione.

    W narzędziu Stąd zalecenie, aby przy twardej blokadzie uwzględnić hosting lub proxy, oraz generator, który nie wymaga znajomości fachowego terminu.

  5. Seiden, S.; Ren, T.; Zhang, C. i in. (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026), s. 6998–7012

    Wynik Za pomocą specjalnie przygotowanych stron i 22 systemów AI można było przypisać, który podmiot pobierający dane zasila który model, w tym kilka takich, których operator nie ujawnia.

    W narzędziu Stanowi podstawę ograniczenia, że tabela obejmuje tylko crawlery udokumentowane przez operatora pod własną nazwą.

  6. Longpre, S.; Mahari, R.; Lee, A. i in. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), s. 108042–108087

    Wynik Analiza 14 000 domen stojących za danymi treningowymi AI wykazała w ciągu roku silny wzrost blokad, duże różnice między dostawcami AI oraz częste sprzeczności między warunkami korzystania a robots.txt.

    W narzędziu Dlatego test pokazuje każdy crawler osobno, zamiast zgłaszać jedynie „AI dozwolone” albo „AI zablokowane”.

  7. Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024), s. 2199–2208

    Wynik Common Crawl to największy swobodnie dostępny zbiór danych z internetu i jedno z najważniejszych źródeł wstępnego trenowania dużych modeli językowych, często stanowiące dużą część materiału treningowego.

    W narzędziu Dlatego CCBot widnieje w sekcji Trening, a test ostrzega, gdy poszczególne crawlery treningowe są zablokowane, ale CCBot nie.

  8. Dodge, J.; Sap, M.; Marasović, A. i in. (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), s. 1286–1305

    Wynik Korpus treningowy C4 powstał z pojedynczego zrzutu Common Crawl i zawiera teksty z nieoczekiwanych źródeł, takich jak opisy patentowe i strony wojskowe.

    W narzędziu Potwierdza w tekście, że korpusy treningowe powstają z ustalonych zrzutów: późniejszy zakaz nie obejmie tego, co już się w nich znalazło.

  9. Aggarwal, P.; Murahari, V.; Rajpurohit, T. i in. (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), s. 5–16

    Wynik Treści można przygotować tak, aby wyszukiwarki AI cytowały je nawet o 40 procent częściej; to, co działa, zależy od dziedziny.

    W narzędziu Wspiera rozgraniczenie: dostęp jest warunkiem, ale o cytowaniu decyduje treść. W tym celu strona odsyła do AI-SEO.

  10. Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, s. 7001–7025

    Wynik W czterech wyszukiwarkach AI średnio tylko nieco ponad połowa zdań była w pełni poparta źródłami, a około jedna czwarta wskazań źródeł nie potwierdzała zdania.

    W narzędziu Wspiera ograniczenie, że swobodny dostęp nie gwarantuje poprawnego cytowania: test sprawdza czytanie, nie odpowiedź.

  11. Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026), s. 529–546

    Wynik Wśród 55 393 zapytań wyszukiwania przegląd AI pojawił się w 13,7 procent przypadków, a przy pytaniach w 64,7 procent. Prawie 30 procent cytowanych domen nie znajdowało się w wynikach pierwszej strony.

    W narzędziu Wyjaśnia, dlaczego Googlebot jest uwzględniony w teście: przeglądy AI wybierają źródła z indeksu, lecz nie tylko z pierwszych wyników.

  12. Grossman, R.; Liu, S.; Chen, M. K. i in. (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), s. 448–459

    Wynik W przypadku 11 500 zapytań wyszukiwania źródła Google Search, przeglądu AI i Gemini wyraźnie się różniły. Strony blokujące crawlery AI Google były rzadziej wykorzystywane jako źródło w przeglądach AI.

    W narzędziu Wskazówka przy zablokowanym Google-Extended zestawia ten wynik z deklaracją Google, że przełącznik nie wpływa na wyszukiwanie.

  13. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, s. 29–41

    Wynik Pomiar na około 4 milionach domen pokazuje: robots.txt pozostaje najważniejszym narzędziem, a pliki właściwe dla AI, takie jak ai.txt i llms.txt, występują głównie w firmach technologicznych. Niektóre linki w plikach llms.txt prowadzą do stron blokowanych przez robots.txt.

    W narzędziu Stąd sprawdzenie, czy linki z llms.txt prowadzą do zablokowanych stron.

  14. Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, artykuł 106176

    Wynik Przy generatywnej AI ignorowanie robots.txt ma większą wagę. Praca uzasadnia dla krajów common law, że plik może w pewnych okolicznościach działać jako jednostronna umowa lub ostrzeżenie z konsekwencjami odpowiedzialności.

    W narzędziu Wspiera wskazówkę, że robots.txt to coś więcej niż technika, z zastrzeżeniem, że sytuację prawną w Niemczech należy sprawdzić osobno.

  15. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, s. 197–214

    Wynik Około 1,68 procent stron w jednym zrzucie Common Crawl wyraźnie odrzucało crawler, często za sprawą dużych hostingów i dostawców kreatorów stron — od blokady po stronę weryfikacyjną.

    W narzędziu Stąd wskazówka, gdy strona główna odpowiada stroną weryfikacyjną: ochrona przed botami blokuje niezależnie od robots.txt.

Normy, urzędy i dane producentów

pon.–pt. 8–17

Proszę przesłać nam skopiowany wynik. Skonfigurujemy robots.txt, llms.txt i dane strukturalne tak, aby wyszukiwarki AI czytały Państwa strony, a trening odbywał się tylko tam, gdzie Państwo tego chcą — w Rodewisch i w całym Vogtlandzie.

+49 3744 4399760[email protected]

pon.–pt. 8–17 · Straße der Jugend 5, 08228 Rodewisch

Zleć konfigurację dostępu AI
+49 3744 4399760pon.–pt. 8–17
ZadzwońOddzwonimy

WYKAZ CZĘŚCI · ARKUSZ 1/1

Z czego składa się ta strona

Wartości zmierzone podczas budowania strony – z JavaScriptem Państwa przeglądarka mierzy je na bieżąco.

POZ.ELEMENTTYPROZMIAR
01index.htmlDokument≈ 29 kB
02styles.cssArkusz stylów≈ 20 kB
03scripts.jsSkrypt≈ 13 kB
04archivo-variable.woff2Czcionka≈ 58 kB
05ibm-plex-mono.woff2Czcionka≈ 30 kB
06favicon.svgGrafika< 1 kB

Pliki cookie reklamowe ani analityczne: brak. Bez Państwa zgody strona nie pobiera niczego z obcych serwerów poza naszą usługą dostarczania treści Cloudflare – czcionki, skrypty i grafiki są u nas. Tak samo budujemy Państwa IT.

POZA GODZINAMI PRACY

Mimo to proszę śmiało dzwonić

Zwykle jesteśmy w biurze pon.–pt. 8–17.

Wieczorem i w weekend numer też jest do nas przekierowany i często ktoś odbiera. Obiecać tego nie możemy.

Jeśli nikt nie odbierze, proszę zostawić krótką wiadomość na poczcie głosowej: imię i nazwisko, numer i czego dotyczy sprawa. Oddzwonimy jak najszybciej, najpóźniej następnego dnia roboczego.

Sama rozmowa nic nie kosztuje. Jeśli poza godzinami pracy ktoś musi zająć się sprawą od razu, obowiązuje dopłata z cennika.

Zadzwoń teraz+49 3744 4399760

Wolą Państwo napisać? Przez formularz kontaktowy albo na [email protected]. Przeczytamy to następnego dnia roboczego.

DIAGNOZA · AT-K2

W czym możemy pomóc?

↵ WYBIERZESC ZAMKNIJTELEFON: +49 3744 4399760

Ustawienia indywidualne

Które usługi mogą się ładować?

Niezbędne technicznie

Podjęta tutaj decyzja oraz ustawienia schematu kolorów i animacji. Te dane zostają jako małe wpisy na Państwa urządzeniu i nigdy nie są wysyłane na serwer. Są potrzebne do działania strony, dlatego nie można ich wyłączyć.