Werkzeug AT-W29REV. 2026-A
KI-Crawler-Check: Dürfen ChatGPT, Claude und Perplexity Ihre Website lesen?
Ob ein KI-Assistent Ihre Website lesen darf, steht in der robots.txt: je Crawler eine eigene Gruppe, sonst gilt die Sammelregel „User-agent: *". Entscheidend ist der Zweck. GPTBot und ClaudeBot sammeln fürs Training, OAI-SearchBot und Claude-SearchBot für die KI-Suche, und ChatGPT-User holt eine Seite, wenn jemand im Chat fragt. Der Check liest Ihre Regeln für 27 Crawler, prüft die llms.txt und schreibt Ihnen den passenden Block.
- kostenlos
- ohne Anmeldung
- Domain wird nicht gespeichert
01 / ABRUF
Domain eingeben, Zugriff je Crawler ablesen
Abruf · robots.txt, llms.txt und Startseite
Der Check liest die Regeln, so wie sie heute auf dem Server stehen, und wertet sie nach RFC 9309 aus. Ob sich ein Crawler daran hält, entscheidet sein Betreiber.
Ohne Abruf: robots.txt-Text einfügen
Etwa für eine Datei, die noch nicht online ist. Der Text bleibt im Browser; es gilt der Pfad von oben.
02 / CRAWLER
Welche KI-Crawler es gibt und wofür sie lesen
Die großen Anbieter schicken nicht einen Crawler, sondern mehrere, je nach Zweck. Das ist der wichtigste Punkt beim Einrichten: Wer „die KI" aussperrt, fliegt meist auch aus der KI-Suche und wird dort nicht mehr als Quelle genannt. Seit 2023 sperren Websites KI-Anbieter zunehmend, und zwar sehr unterschiedlich; zwischen Nutzungsbedingungen und robots.txt fanden Forscher dabei häufig Widersprüche Longpre u. a. 2024. Der Check zeigt deshalb jeden Crawler einzeln.
| Art | Einträge | Was sie tun |
|---|---|---|
| KI-Suche | 11 | Baut den Index, aus dem ein KI-Assistent oder eine Suchmaschine Antworten mit Quellen holt. Gesperrt erscheint die Seite dort seltener oder gar nicht als Quelle. |
| Training | 6 | Sammelt Inhalte, aus denen Sprachmodelle lernen. Ein Verbot wirkt auf künftige Trainingsläufe, nicht auf schon trainierte Modelle. |
| Schalter fürs Training | 2 | Kein eigener Crawler. Die Regel sagt dem Betreiber, ob er das ohnehin Geholte fürs Training nutzen darf. |
| Nutzerabruf | 7 | Holt eine einzelne Seite, weil ein Mensch gerade danach fragt. Mehrere Betreiber schreiben, dass robots.txt dafür nicht oder nicht immer gilt. |
Zwei Einträge verdienen einen zweiten Blick. Common Crawl trainiert selbst kein Modell, baut aber das größte frei verfügbare Archiv des Webs, und das gehört zu den wichtigsten Quellen fürs Vortraining großer Sprachmodelle Baack 2024. Der bekannte Trainingskorpus C4 etwa entstand aus einem einzigen solchen Abzug Dodge u. a. 2021. Wer Training ablehnt, sperrt deshalb auch CCBot; was schon in einem Abzug liegt, holt aber keine Regel zurück. Der zweite ist Googlebot: Er steht in der Liste, weil die KI-Übersichten und der KI-Modus der Google-Suche auf seinem Index aufbauen. Ihn sperrt niemand, der bei Google gefunden werden will.
Alle 27 erfassten Crawler
| Name in der robots.txt | Betreiber | Zweck | robots.txt wirkt | Was der Betreiber schreibt |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | KI-Suche | ja, laut Betreiber | Beliefert die Suche in ChatGPT. Wer ihn sperrt, erscheint dort nicht als Quelle in Antworten. |
| Claude-SearchBot | Anthropic | KI-Suche | ja, laut Betreiber | Arbeitet der Suche in Claude zu. Gesperrt taucht die Seite dort seltener in Ergebnissen auf. |
| Googlebot | KI-Suche | ja, laut Betreiber | Der Crawler der Google-Suche. Auch KI-Übersichten und der KI-Modus greifen auf diesen Index zu; gesteuert wird dort über nosnippet, max-snippet und noindex. | |
| PerplexityBot | Perplexity | KI-Suche | ja, laut Betreiber | Baut den Index, aus dem Perplexity Quellen verlinkt. Laut Betreiber nicht fürs Training von Modellen. |
| Applebot | Apple | KI-Suche | ja, laut Betreiber | Crawler für die Suche in Siri, Spotlight und Safari. Die Daten können laut Apple auch ins Training von Apples Modellen fließen; dafür gibt es Applebot-Extended. |
| meta-webindexer | Meta | KI-Suche | ja, laut Betreiber | Indexiert für die Suche in Meta AI, damit Meta Inhalte zitieren und verlinken kann. |
| Amzn-SearchBot | Amazon | KI-Suche | ja, laut Betreiber | Für Suchfunktionen in Amazon-Produkten wie Alexa, laut Amazon nicht fürs Training. |
| bingbot | Microsoft | KI-Suche | ja, laut Betreiber | Der Crawler von Bing. Eine eigene KI-Kennung nennt Microsoft nicht; die Vorgaben für Training und KI-Antworten richten sich ab Februar 2027 an Bingbot. |
| MistralAI-Index | Mistral | KI-Suche | ja, laut Betreiber | Crawlt nur für den Suchindex, laut Mistral nicht fürs Training. |
| DuckAssistBot | DuckDuckGo | KI-Suche | ja, laut Betreiber | Holt Seiten in Echtzeit für die KI-Antworten von DuckDuckGo, mit Quellenangabe. Laut Betreiber nicht fürs Training. |
| YouBot | You.com | KI-Suche | ja, laut Betreiber | Crawler der Suchmaschine You.com. Befolgt robots.txt samt Crawl-delay. |
| GPTBot | OpenAI | Training | ja, laut Betreiber | Sammelt Inhalte, die ins Training von OpenAIs Modellen fließen können. Gesperrt heißt laut OpenAI: nicht fürs Training verwenden. |
| ClaudeBot | Anthropic | Training | ja, laut Betreiber | Sammelt Inhalte, die ins Training von Anthropics Modellen fließen können. Anthropic befolgt robots.txt und auch Crawl-delay. |
| meta-externalagent | Meta | Training | ja, laut Betreiber | Sammelt fürs Training von KI-Modellen und für Metas Produkte. |
| Amazonbot | Amazon | Training | ja, laut Betreiber | Verbessert Amazons Produkte, das kann das Training von Amazons KI-Modellen einschließen. Crawl-delay beachtet er nicht. |
| MistralAI-Training | Mistral | Training | ja, laut Betreiber | Sammelt Inhalte für Trainingsdaten der Mistral-Modelle. |
| CCBot | Common Crawl | Training | ja, laut Betreiber | Baut ein frei zugängliches Archiv des Webs. Common Crawl trainiert selbst nichts, das Archiv ist aber eine der wichtigsten Quellen für Trainingsdaten. |
| Google-Extended | Schalter fürs Training | ja, laut Betreiber | Kein eigener Crawler, sondern ein Schalter: Dürfen Googles Abrufe ins Training künftiger Gemini-Modelle und in die Fundierung von Gemini-Antworten fließen? Auf die Google-Suche wirkt er laut Google nicht. | |
| Applebot-Extended | Apple | Schalter fürs Training | ja, laut Betreiber | Kein eigener Crawler. Gesperrt nutzt Apple die Inhalte nicht fürs Training seiner Modelle; in der Suche bleibt die Seite. |
| ChatGPT-User | OpenAI | Nutzerabruf | nicht immer | Holt eine Seite, wenn jemand in ChatGPT danach fragt. Laut OpenAI gelten robots.txt-Regeln dafür womöglich nicht. |
| Claude-User | Anthropic | Nutzerabruf | ja, laut Betreiber | Ruft Seiten ab, wenn Nutzer in Claude eine Frage stellen. Anthropic schreibt, seine Bots befolgen robots.txt. |
| Google-Agent | Nutzerabruf | nicht immer | Surft im Auftrag eines Nutzers und führt Aktionen aus. Nutzerabrufe übergehen robots.txt laut Google in der Regel. | |
| Perplexity-User | Perplexity | Nutzerabruf | nicht immer | Holt Seiten, wenn ein Nutzer fragt. Ignoriert robots.txt laut Perplexity in der Regel. |
| meta-externalfetcher | Meta | Nutzerabruf | nicht immer | Holt einzelne Links auf Nutzerwunsch, auch für KI-Agenten. Kann robots.txt laut Meta umgehen. |
| Amzn-User | Amazon | Nutzerabruf | nicht immer | Holt aktuelle Daten für eine Nutzerfrage, etwa an Alexa. Befolgt laut Amazon nicht alle robots.txt-Regeln. |
| MistralAI-User | Mistral | Nutzerabruf | ja, laut Betreiber | Holt eine Seite, wenn ein Nutzer fragt, und verlinkt sie als Quelle. Die robots.txt-Gruppe legt laut Mistral fest, welche Seiten dafür in Frage kommen. |
| Bytespider | ByteDance | unklar | nicht belegt | Keine Betreiber-Doku gefunden. Zweck und Umgang mit robots.txt sind nicht belegt. |
Nicht aufgenommen: Namen aus Bot-Verzeichnissen, die der Betreiber selbst nicht nennt (etwa anthropic-ai oder cohere-ai). Cohere betreibt laut eigener Doku derzeit keinen Crawler; Microsoft nennt keine eigene KI-Kennung, seine Vorgaben für KI richten sich an bingbot. Stand 14. November 2026.
03 / GENERATOR
Training sperren, KI-Suche erlauben: der passende Block
Die meisten Betriebe wollen dasselbe: in den Antworten von ChatGPT, Claude oder Perplexity als Quelle auftauchen, aber nicht ungefragt Trainingsmaterial liefern. Der Generator ist darauf vorbelegt. Er schreibt jede Gruppe einzeln und nur mit Allow und Disallow ohne Platzhalter, denn auch kommerzielle Crawler missverstehen bestimmte Regeln immer wieder Giles u. a. 2010. Den Block fügen Sie in Ihre bestehende robots.txt ein; die Gruppe „User-agent: *" bleibt, wie sie ist.
Generator · robots.txt-Block
Der Generator läuft im Browser und sendet nichts.
Generator · llms.txt-Gerüst
Läuft im Browser. Die Datei kommt als llms.txt ins Hauptverzeichnis der Website.
Die häufigste Falle: Gruppen erben nichts
Ein Crawler befolgt genau die Gruppe mit seinem Namen. Gibt es sie, gilt die Sammelregel für ihn nicht mehr, auch nicht teilweise. Im Beispiel rechts sperrt „User-agent: *" den Bereich /intern/, GPTBot bekommt aber eine eigene Gruppe mit „Allow: /".
Das Ergebnis für /intern/preise: ClaudeBot ist gesperrt (Zeile 2: Disallow: /intern/ (Gruppe *)), GPTBot dagegen darf lesen (Zeile 5: Allow: / (Gruppe GPTBot)). Was für alle gesperrt sein soll, gehört deshalb in jede benannte Gruppe. Im Generator tragen Sie solche Bereiche einmal ein, er wiederholt sie überall.
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
Das gemeinsame Trainingssignal
Seit dem 30. Oktober 2026 gibt es einen Entwurf bei der IETF, der das Einzelsperren abkürzen soll: eine Gruppe „User-agent: __usage_ai-training" mit „Disallow: /" sagt allen teilnehmenden Anbietern auf einmal, dass Sie kein Training wünschen. Pfade funktionieren wie sonst auch, „Allow: /presse/" nimmt die Pressemappe aus. Die Gruppe ist kein Crawling-Befehl, und die Sammelregel „User-agent: *" zählt dafür ausdrücklich nicht. Weil der Entwurf jung ist und noch nicht jeder Anbieter mitliest, schreibt der Generator beides: die Einzelgruppen und das Signal.
| Anbieter | Ab wann |
|---|---|
| Anthropic | seit 30. Oktober 2026; eine benannte Gruppe ClaudeBot geht vor |
| Microsoft (Bing) | ab 1. Februar 2027 |
| geplant für 2027; ohne eigene Gruppe Google-Extended wertet Google ein Nein dann wie ein gesperrtes Google-Extended | |
| OpenAI | „in den kommenden Monaten"; die GPTBot-Regeln bleiben |
Quelle: draft-kelley-aipref-training-preference-signal-00, ohne Standardstatus, läuft am 3. Mai 2027 aus. Stand 14. November 2026.
04 / REGELN
So liest ein Crawler Ihre robots.txt
Seit September 2022 ist das Verfahren als RFC 9309 festgeschrieben, und danach rechnet auch der Check. Die Datei liegt immer unter /robots.txt im Hauptverzeichnis und gilt nur für genau diesen Host: Leitet ihre-firma.de auf www.ihre-firma.de weiter, zählt die Datei auf www. Der Crawler sucht die Gruppe mit seinem Namen, Groß- und Kleinschreibung egal; gibt es keine, nimmt er „User-agent: *", und gibt es auch die nicht, darf er alles. Innerhalb der Gruppe gewinnt die längste passende Regel, bei Gleichstand Allow. Ein Stern steht für beliebige Zeichen, ein Dollar am Ende für das Ende der Adresse.
Schon 2007 zeigte eine Erhebung an 7.593 Websites, dass die Datei immer häufiger genutzt wird, und eben auch, was sie ist: eine Regel, an die sich anständige Crawler halten, keine Durchsetzung Sun u. a. 2007. Daran hat sich nichts geändert.
| Antwort | RFC 9309 | |
|---|---|---|
| 200, Textdatei | Regeln gelten, gelesen werden mindestens 500 KiB | ebenso, alles nach 500 KiB wird ignoriert |
| 200, aber eine Webseite | keine gültige Zeile, also keine Regel | ebenso |
| 404 und andere 4xx | keine robots.txt, alles erlaubt | alles erlaubt, außer bei 429 |
| 429 zu viele Anfragen | wie 4xx | wie ein Serverfehler |
| 5xx oder nicht erreichbar | alles gesperrt | 12 Stunden kein Crawling, danach bis 30 Tage die letzte gute Fassung |
| Weiterleitung | mindestens fünf folgen | mindestens fünf, danach wie 404 |
Google speichert die Datei meist bis zu 24 Stunden, Amazon bis zu 30 Tage. Änderungen wirken deshalb nicht sofort. Unser Abruf folgt höchstens drei Weiterleitungen. Stand 14. November 2026.
Angaben auf den Seiten selbst
Neben der robots.txt gibt es Angaben je Seite, als Meta-Tag im Kopf oder als X-Robots-Tag in der Server-Antwort. Der Check liest sie auf der Startseite. Für KI zählen vor allem diese: noindex nimmt die Seite aus dem Suchindex und damit auch aus KI-Übersichten, nosnippet verbietet bei Google den Textauszug, auch in KI-Übersichten und im KI-Modus. Amazon liest noarchive als „nicht fürs Training". Microsoft führt ab dem 1. Februar 2027 eigene Angaben für Training und Fundierung ein (ai-training, ai-grounding) und liest noarchive und nocache ab März 2027 nicht mehr als KI-Vorgabe. Angaben wie „noai" sind verbreitet, aber von keinem Betreiber in unserer Liste dokumentiert.
05 / GRENZEN
Was die robots.txt nicht leistet
- Sie ist eine Bitte. In Versuchen mit 130 benannten Bots über 40 Tage hielten sich Bots seltener an strenge Regeln, und KI-Suchcrawler fragten die Datei oft gar nicht erst ab Kim u. a. 2025.
- Sie wirkt nur bei Namen. Mit eigens präparierten Websites ließ sich nachweisen, welcher Abrufer welches KI-System beliefert, darunter mehrere, die ihr Betreiber nicht offenlegt Seiden u. a. 2026. Wer unter fremdem Namen kommt, trifft keine Regel.
- Nutzerabrufe laufen teils vorbei. OpenAI, Perplexity, Meta, Amazon und Google schreiben selbst, dass ihre Abrufe auf Nutzerwunsch robots.txt nicht immer befolgen. Anthropic und Mistral nennen die Datei auch dafür als Steuerung.
- Harte Sperren sitzen am Server. Künstlern fehlte für robots.txt oft das Wissen oder der Zugriff auf die eigene Website, wirksamer schützten Sperren am Reverse-Proxy Liu u. a. 2025. Umgekehrt sperren manche Hoster und Baukästen Crawler, ohne dass es der Inhaber weiß: In einem Common-Crawl-Abzug wiesen rund 1,68 Prozent der Websites den Crawler ausdrücklich ab Ansar u. a. 2025. Antwortet Ihre Startseite unserem Abruf mit einer Prüfseite, meldet der Check das.
- Unser Abruf ist kein KI-Crawler. Der Server ruft mit eigener Kennung ab. Sperrt eine Firewall Crawler am Namen, etwa über eine Einstellung bei Cloudflare, sieht der Check das nicht.
Und rechtlich?
Nach § 44b Abs. 3 UrhG ist Text und Data Mining an frei zugänglichen Werken erlaubt, solange der Rechteinhaber es sich nicht vorbehält, und bei Inhalten im Netz zählt nur ein Vorbehalt in maschinenlesbarer Form. Die robots.txt ist maschinenlesbar, ob sie als Vorbehalt genügt, ist aber nicht abschließend geklärt. Eine rechtswissenschaftliche Arbeit begründet für Common-Law-Länder, dass das Übergehen der Datei unter Umständen Haftung auslösen kann Chang und He 2025; für Deutschland ist das eigens zu prüfen. Wer einen Vorbehalt erklären will, schreibt ihn deshalb zusätzlich ins Impressum oder in die Nutzungsbedingungen. Das ist keine Rechtsberatung.
06 / LLMS.TXT
llms.txt: was die Datei kann und was nicht
Die llms.txt hat Jeremy Howard am 3. September 2024 vorgeschlagen, die Beschreibung steht auf llmstxt.org. Es ist eine Markdown-Datei unter /llms.txt: eine Überschrift mit dem Namen, das ist der einzige Pflichtteil, dann eine Kurzbeschreibung als Zitat, auf Wunsch ein paar Sätze und Abschnitte mit Linklisten auf die wichtigsten Seiten. Ein Abschnitt „Optional" hält, was ein Assistent auslassen kann.
Eine Messung an rund 4 Millionen Domains fand die Datei vor allem bei Technikfirmen, und manche ihrer Links zeigten auf Seiten, die die eigene robots.txt sperrt Hoffmann u. a. 2026. Genau das prüft der Check. Ein Wegweiser auf gesperrte Seiten führt ins Leere.
Ehrlich gesagt: Google schreibt in seiner Doku zu KI-Übersichten, man müsse dafür keine neuen maschinenlesbaren Dateien anlegen, und keiner der hier erfassten Betreiber schreibt in seiner Crawler-Doku, dass er die llms.txt fremder Websites liest. Sie ist also kein Hebel für die Sichtbarkeit. Sinnvoll ist sie trotzdem, als kurze, saubere Selbstbeschreibung, die ein Assistent bei einem Nutzerabruf lesen kann, und weil sie in zehn Minuten fertig ist.
Unsere eigene liegt unter aureum-tech.com/llms.txt. Das Gerüst für Ihre baut der Generator oben.
07 / SICHTBARKEIT
Lesen dürfen heißt noch nicht, genannt zu werden
Der Check beantwortet eine Vorfrage. Ob ChatGPT Ihre Firma nennt, wenn jemand nach einem Elektriker in Plauen fragt, hängt am Inhalt Ihrer Seiten und an dem, was andere über Sie schreiben. In Versuchen ließ sich die Sichtbarkeit von Quellen in KI-Antworten durch die Aufbereitung des Inhalts um bis zu 40 Prozent steigern, je nach Fachgebiet mit anderen Mitteln Aggarwal u. a. 2024. Bei Google erschien in einer Messung mit 55.393 Suchanfragen in 13,7 Prozent der Fälle eine KI-Übersicht, bei Fragen in 64,7 Prozent, und knapp 30 Prozent der dort zitierten Domains standen nicht unter den Treffern der ersten Seite Xu u. a. 2026.
Genannt heißt auch nicht richtig zitiert. In vier KI-Suchmaschinen war im Schnitt nur gut die Hälfte der Sätze durch die angegebenen Quellen gedeckt Liu u. a. 2023. Und wer Googles KI-Crawler sperrt, wird in KI-Übersichten seltener als Quelle herangezogen, obwohl Google schreibt, der Schalter wirke nicht auf die Suche Grossman u. a. 2026.
Wie sichtbar Ihre Firma in ChatGPT, Perplexity und Googles KI wirklich ist, zeigt der Quick-Check von SpotLens. Wie wir Inhalte und strukturierte Daten so aufbauen, dass KI-Suchen sie zitieren, steht unter AI-SEO. Wer erst einmal selbst nachsehen will, findet im Ratgeber, wie man die Sichtbarkeit in ChatGPT prüft und was KI-Sichtbarkeit für Unternehmen bedeutet. Einzelne Regeln testen Sie im robots.txt-Tester, weitere Werkzeuge zur Auffindbarkeit stehen unter SEO und Sichtbarkeit.
08 / FORSCHUNG
Was die Forschung dazu sagt
Die Einordnung im Check stützt sich auf 15 begutachtete Arbeiten. Die wichtigsten Befunde, die vollständige Liste mit Prüfvermerk steht weiter unten.
- Sperren nehmen zu, und zwar ungleich. Binnen eines Jahres wurden große Teile der Quellen hinter KI-Trainingsdaten gesperrt, je nach Anbieter verschieden Longpre u. a. 2024. Darum zeigt der Check Crawler einzeln.
- Regeln werden selektiv befolgt. Je strenger die Regel, desto seltener hielten sich Bots daran Kim u. a. 2025. Darum misst der Check nichts, was er nicht messen kann, und sagt das.
- Training läuft über Archive. Common Crawl ist eine der wichtigsten Quellen fürs Vortraining Baack 2024, und Korpora wie C4 entstehen aus einzelnen Abzügen Dodge u. a. 2021. Darum warnt der Check, wenn CCBot offen bleibt.
- KI-Übersichten wählen eigene Quellen. Viele zitierte Domains stehen nicht auf Seite eins Xu u. a. 2026, und gesperrte KI-Crawler gehen mit selteneren Nennungen einher Grossman u. a. 2026.
- llms.txt ist jung und oft widersprüchlich. Links in der Datei zeigen teils auf gesperrte Seiten Hoffmann u. a. 2026; der Check prüft jeden eigenen Link.
09 / FÜR KI-ASSISTENTEN
Dieses Werkzeug aus einem KI-Assistenten nutzen
Assistenten wie Claude oder ChatGPT, die das Model Context Protocol (MCP) sprechen, können die Rechnung dieser Seite direkt aufrufen, statt sie nachzubauen. Der Server ist öffentlich, braucht keine Anmeldung und speichert nichts. Die Antwort enthält immer den Link auf diese Seite, den Stand der Daten und die Grenzen des Ergebnisses.
- Endpunkt
- https://aureum-tech.com/mcp
- Werkzeug
- werkzeug_ki_crawler_check
- Transport
- Streamable HTTP, nur lesend
| Name | Pflicht | Bedeutung |
|---|---|---|
| domain | nein | Domain der Website, z. B. ihre-firma.de oder https://www.ihre-firma.de. Ein Pfad wird ignoriert, robots.txt liegt immer im Wurzelverzeichnis. Nur öffentliche Websites, Port 80 oder 443. |
| robots_txt | nein | Statt der Domain: der Text einer robots.txt, der ohne Abruf ausgewertet wird. Nicht zusammen mit domain angeben. |
| pfad | nein | Pfad, für den geprüft wird, z. B. /blog/artikel. Ohne Angabe die Startseite „/". |
Fragen, bei denen ein Assistent es aufrufen sollte
- „Darf ChatGPT meine Website handwerk-muster.de lesen?"
- „Sperrt unsere robots.txt aus Versehen die KI-Suche von Perplexity und ChatGPT?"
- „Wie verbiete ich KI-Training, bleibe aber in der Suche von ChatGPT und Claude sichtbar?"
- „Hat www.beispiel-praxis.de eine llms.txt, und zeigen ihre Links auf gesperrte Seiten?"
Wie die Anbindung funktioniert und was MCP im eigenen Betrieb leisten kann, steht auf der Seite zu MCP-Integrationen.
10 / HÄUFIGE FRAGEN
Häufige Fragen zu KI-Crawlern, robots.txt und llms.txt
Wie sperre ich KI-Training, ohne aus der Suche von ChatGPT zu fallen?
OpenAI trennt beides: GPTBot sammelt fürs Training, OAI-SearchBot für die Suche in ChatGPT, und jede Einstellung wirkt für sich. In der robots.txt bekommt GPTBot also „Disallow: /" und OAI-SearchBot „Allow: /". Bei Anthropic gilt dasselbe für ClaudeBot und Claude-SearchBot, bei Google sperren Sie Google-Extended und lassen Googlebot in Ruhe. Der Generator auf dieser Seite schreibt den ganzen Block für alle erfassten Anbieter.
Was ist der Unterschied zwischen GPTBot, OAI-SearchBot und ChatGPT-User?
GPTBot sammelt Inhalte, die ins Training künftiger Modelle fließen können. OAI-SearchBot baut den Index, aus dem ChatGPT bei einer Suche Quellen nennt; wer ihn sperrt, erscheint dort laut OpenAI nicht in Antworten. ChatGPT-User holt eine einzelne Seite, weil jemand im Chat gerade danach fragt. Für diesen Abruf gelten robots.txt-Regeln laut OpenAI womöglich nicht.
Fliegt meine Website aus Google, wenn ich Google-Extended sperre?
Nein. Google-Extended ist kein eigener Crawler, sondern ein Schalter dafür, ob Google das Geholte für Gemini-Training und die Fundierung von Gemini-Antworten nutzen darf. Laut Google wirkt er weder auf die Aufnahme in die Suche noch aufs Ranking. Die KI-Übersichten der Google-Suche hängen an Googlebot und an den Snippet-Regeln wie nosnippet. Eine Messung von 2026 fand Seiten mit gesperrtem Google-KI-Crawler allerdings seltener als Quelle in KI-Übersichten.
Brauche ich eine llms.txt?
Pflicht ist sie nicht. Die llms.txt ist ein Vorschlag von Jeremy Howard aus dem September 2024: eine Markdown-Datei mit Überschrift, Kurzbeschreibung und Links auf die wichtigsten Seiten. Google schreibt ausdrücklich, für KI-Übersichten brauche es keine neuen maschinenlesbaren Dateien, und keiner der hier erfassten Betreiber schreibt in seiner Crawler-Doku, dass er sie liest. Schaden tut sie nicht, und sie ist schnell gemacht; das Gerüst dafür liefert der Generator. Wichtiger ist, dass ihre Links nicht auf gesperrte Seiten zeigen.
Hält sich jeder Crawler an die robots.txt?
Nein. Die robots.txt ist eine Bitte, kein Schloss. Messungen zeigen, dass Bots strengere Regeln seltener befolgen und KI-Suchcrawler die Datei oft gar nicht abfragen. Nutzerabrufe wie ChatGPT-User, Perplexity-User oder meta-externalfetcher gehen laut ihren Betreibern teils an der robots.txt vorbei, und wer ohne Namen sammelt, taucht in keiner Regel auf. Wer wirklich sperren will, braucht eine Sperre am Server oder beim Hoster.
Gilt eine Sperre auch für Modelle, die schon trainiert sind?
Nein. OpenAI und Anthropic beschreiben die Sperre als Hinweis für künftiges Training. Trainingsdaten entstehen aus festen Abzügen des Webs, etwa aus dem Archiv von Common Crawl; was dort schon liegt, bleibt darin. Deshalb lohnt es sich, CCBot mitzudenken, wenn Sie Training ablehnen.
Was bedeutet „User-agent: __usage_ai-training"?
Das ist das gemeinsame Trainingssignal nach einem IETF-Entwurf vom 30. Oktober 2026. Eine Gruppe mit diesem Namen und „Disallow: /" sagt allen teilnehmenden Anbietern auf einmal, dass Sie kein Training wünschen. Anthropic berücksichtigt es nach eigener Angabe bereits, Microsoft ab dem 1. Februar 2027, Google plant es für 2027 und OpenAI in den kommenden Monaten. Es ist kein Crawling-Befehl, und die Gruppe „User-agent: *" zählt dafür ausdrücklich nicht.
Wo hört der KI-Crawler-Check auf?
Er liest die Regeln Ihrer robots.txt, die llms.txt und die Robots-Angaben der Startseite und sagt je Crawler, was erlaubt ist. Ob sich ein Crawler daran hält, misst er nicht, und ob ein KI-Assistent Ihre Firma kennt und empfiehlt, auch nicht. Das zeigt der SpotLens-Quick-Check; wie Inhalte gebaut sein müssen, damit KI-Suchen sie zitieren, steht unter AI-SEO. Die Dateien richten wir auf Wunsch für Sie ein.
11 / STUDIEN UND QUELLEN
Worauf sich das Werkzeug stützt
Die Richtwerte und Hinweise oben beruhen auf diesen 15 wissenschaftlichen Arbeiten. Jede ist über ihren DOI bzw. die Seite des Verlags geprüft (zuletzt am 14. November 2026): Es gibt sie, sie ist nicht zurückgezogen, und ihr Befund trägt für die Frage heute noch.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), S. 1123–1124
Befund Fünf Erhebungen an 7.593 Websites zeigen, dass robots.txt immer häufiger genutzt wird. Die Datei ist keine Durchsetzung, sondern eine Regel, an die sich anständige Crawler halten.
Im Werkzeug Trägt den Grundsatz der Seite: robots.txt ist eine Bitte an Crawler, kein Schloss.
doi.org/10.1145/1242572.1242726 · Konferenzbeitrag
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), S. 1101–1102
Befund Die meisten kommerziellen Crawler verhielten sich regelkonform, viele verletzten oder missverstanden aber bestimmte robots.txt-Regeln immer wieder.
Im Werkzeug Darum schreibt der Generator jede Gruppe einzeln und nur mit Allow und Disallow ohne Platzhalter.
doi.org/10.1145/1772690.1772824 · Konferenzbeitrag
Kim, T.; Bock, K.; Luo, C. u. a. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), S. 541–557
Befund In kontrollierten Versuchen mit 130 benannten Bots über 40 Tage hielten sich Bots seltener an strengere Regeln; KI-Suchcrawler fragten die robots.txt oft gar nicht ab.
Im Werkzeug Begründet die Grenze „Regeln lesen, kein Verhalten messen" und den Hinweis zu gesperrten Nutzerabrufen.
doi.org/10.1145/3730567.3764471 · Konferenzbeitrag
Liu, E.; Luo, E.; Shan, S. u. a. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), S. 78–99
Befund Messungen und eine Befragung von 203 Künstlern zeigen großen Bedarf an robots.txt, aber Hürden bei Wissen und Zugriff auf die eigene Website. Sperren am Reverse-Proxy schützten wirksamer, sind aber wenig verbreitet.
Im Werkzeug Daher die Empfehlung, für eine harte Sperre den Hoster oder Proxy einzubeziehen, und der Generator, der keinen Fachbegriff voraussetzt.
doi.org/10.1145/3730567.3732913 · Konferenzbeitrag
Seiden, S.; Ren, T.; Zhang, C. u. a. (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026), S. 6998–7012
Befund Mit eigens präparierten Websites und 22 KI-Systemen ließ sich zuordnen, welcher Abrufer welches Modell beliefert, darunter mehrere, die ihr Betreiber nicht offenlegt.
Im Werkzeug Trägt die Grenze, dass die Tabelle nur Crawler kennt, die ihr Betreiber unter eigenem Namen dokumentiert.
doi.org/10.1145/3830454.3846799 · Konferenzbeitrag
Longpre, S.; Mahari, R.; Lee, A. u. a. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), S. 108042–108087
Befund Eine Prüfung von 14.000 Domains hinter KI-Trainingsdaten fand binnen eines Jahres eine starke Zunahme von Sperren, große Unterschiede zwischen KI-Anbietern und häufige Widersprüche zwischen Nutzungsbedingungen und robots.txt.
Im Werkzeug Darum zeigt der Check jeden Crawler einzeln, statt nur „KI erlaubt" oder „KI gesperrt" zu melden.
doi.org/10.52202/079017-3431 · Konferenzbeitrag
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024), S. 2199–2208
Befund Common Crawl ist die größte frei verfügbare Sammlung von Webdaten und eine der wichtigsten Quellen fürs Vortraining großer Sprachmodelle, oft mit großem Anteil am Trainingsmaterial.
Im Werkzeug Deshalb steht CCBot unter Training, und der Check warnt, wenn einzelne Trainings-Crawler gesperrt sind, CCBot aber nicht.
doi.org/10.1145/3630106.3659033 · Konferenzbeitrag
Dodge, J.; Sap, M.; Marasović, A. u. a. (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), S. 1286–1305
Befund Der Trainingskorpus C4 entstand aus einem einzigen Common-Crawl-Abzug und enthält Texte aus unerwarteten Quellen wie Patentschriften und Militärseiten.
Im Werkzeug Belegt im Text, dass Trainingskorpora aus festen Abzügen entstehen: Was dort einmal liegt, erreicht ein späteres Verbot nicht.
doi.org/10.18653/v1/2021.emnlp-main.98 · Konferenzbeitrag
Aggarwal, P.; Murahari, V.; Rajpurohit, T. u. a. (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), S. 5–16
Befund Inhalte lassen sich so aufbereiten, dass KI-Suchmaschinen sie bis zu 40 Prozent sichtbarer zitieren; was wirkt, hängt vom Fachgebiet ab.
Im Werkzeug Trägt die Abgrenzung: Zugriff ist die Voraussetzung, ob zitiert wird, entscheidet der Inhalt. Dafür verweist die Seite auf AI-SEO.
doi.org/10.1145/3637528.3671900 · Konferenzbeitrag
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, S. 7001–7025
Befund In vier KI-Suchmaschinen war im Schnitt nur gut die Hälfte der Sätze vollständig durch Quellen gedeckt, und rund ein Viertel der Quellenangaben stützte den Satz nicht.
Im Werkzeug Trägt die Grenze, dass freier Zugriff kein korrektes Zitat verspricht: Der Check prüft das Lesen, nicht die Antwort.
doi.org/10.18653/v1/2023.findings-emnlp.467 · Konferenzbeitrag
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026), S. 529–546
Befund Bei 55.393 Suchanfragen erschien eine KI-Übersicht in 13,7 Prozent der Fälle, bei Fragen in 64,7 Prozent. Knapp 30 Prozent der zitierten Domains standen nicht unter den Treffern der ersten Seite.
Im Werkzeug Erklärt, warum Googlebot im Check steht: KI-Übersichten wählen Quellen aus dem Index, aber nicht nur aus den ersten Treffern.
doi.org/10.1145/3777912.3839818 · Konferenzbeitrag
Grossman, R.; Liu, S.; Chen, M. K. u. a. (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), S. 448–459
Befund Bei 11.500 Suchanfragen unterschieden sich die Quellen von Google-Suche, KI-Übersicht und Gemini stark. Websites, die Googles KI-Crawler sperren, wurden seltener als Quelle in KI-Übersichten herangezogen.
Im Werkzeug Der Hinweis bei gesperrtem Google-Extended stellt diesen Befund neben Googles Aussage, der Schalter wirke nicht auf die Suche.
doi.org/10.1145/3805712.3809667 · Konferenzbeitrag
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, S. 29–41
Befund Eine Messung an rund 4 Millionen Domains zeigt: robots.txt bleibt das wichtigste Mittel, KI-eigene Dateien wie ai.txt und llms.txt kommen vor allem bei Technikfirmen auf. Manche Links in llms.txt-Dateien zeigen auf Seiten, die die robots.txt sperrt.
Im Werkzeug Daraus die Prüfung, ob Links der llms.txt auf gesperrte Seiten zeigen.
doi.org/10.1145/3831956.3831960 · Fachzeitschrift
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, Artikel 106176
Befund Mit generativer KI wiegt das Übergehen von robots.txt schwerer. Die Arbeit begründet für Common-Law-Länder, dass die Datei unter Umständen als einseitiger Vertrag oder als Warnung mit Haftungsfolgen wirken kann.
Im Werkzeug Stützt den Hinweis, dass robots.txt mehr als Technik ist, mit der Einschränkung, dass die Rechtslage in Deutschland eigens zu prüfen ist.
doi.org/10.1016/j.clsr.2025.106176 · Fachzeitschrift
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, S. 197–214
Befund Rund 1,68 Prozent der Websites in einem Common-Crawl-Abzug wiesen den Crawler ausdrücklich ab, oft durch große Hoster und Baukastenanbieter, von der Sperre bis zur Prüfseite.
Im Werkzeug Daher der Hinweis, wenn die Startseite mit einer Prüfseite antwortet: Ein Bot-Schutz sperrt unabhängig von der robots.txt.
doi.org/10.1007/978-3-031-85960-1_9 · Konferenzbeitrag
Normen, Behörden und Herstellerangaben
- RFC 9309: Robots Exclusion Protocol · IETF, September 2022
- How Google interprets the robots.txt specification (Statuscodes, 500 KiB, Zwischenspeicher) · Google Search Central
- Overview of OpenAI Crawlers · OpenAI
- Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
- Google common crawlers (Google-Extended) · Google Search Central
- Google user-triggered fetchers (Google-Agent) · Google Search Central
- AI features and your website · Google Search Central
- Perplexity Crawlers · Perplexity
- About Applebot · Apple, Stand 4. September 2026
- Meta Web Crawlers · Meta
- Amazonbot, Amzn-SearchBot, Amzn-User · Amazon, Stand 26. Oktober 2026
- Your content, your choice: clearer preferences for training and grounding · Microsoft Bing, 30. Oktober 2026
- Mistral AI crawlers · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- Cohere web crawlers (derzeit kein Crawler) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · IETF-Entwurf, 30. Oktober 2026
- A new way to control AI training (Trainingssignal) · Google Search Central Blog, 30. Oktober 2026
- Making it easier for websites to express AI training preferences · OpenAI, 30. Oktober 2026
- The /llms.txt file · llmstxt.org, Vorschlag vom 3. September 2024
- § 44b UrhG Text und Data Mining · gesetze-im-internet.de
12 / WEITERE WERKZEUGE
Noch eine Frage offen?
- AT-W2 · Privat & Betriebe
Windows-10-Check
Bekommt dieser PC noch Sicherheitsupdates, und was ist bis Oktober 2027 zu tun? - AT-W3 · Privat & Betriebe
WLAN-Planer
Wie viele Access Points oder Mesh-Punkte braucht Ihr Haus, Büro oder Ihre Halle? - AT-W4 · Betriebe
IT-Notfall-Check
Wie schnell wäre Ihr Betrieb nach einem Ausfall wieder arbeitsfähig? - AT-W5 · Betriebe
E-Mail-Check
Landen Ihre E-Mails im Spam? SPF, DKIM und DMARC Ihrer Domain im Klartext. - AT-W6 · Betriebe
USV-Rechner
Welche USV hält Server, Router und Kasse bei einem Stromausfall lange genug am Laufen? - AT-W8 · Betriebe
XRechnung-Viewer
Eine XRechnung als XML-Datei bekommen? Hier wird sie lesbar, ohne dass die Datei Ihren Rechner verlässt.
Schicken Sie uns das kopierte Ergebnis. Wir richten robots.txt, llms.txt und strukturierte Daten so ein, dass KI-Suchen Ihre Seiten lesen und Training nur dort stattfindet, wo Sie es wollen, in Rodewisch und im ganzen Vogtland.
+49 3744 4399760[email protected]Mo–Fr 8–17 Uhr · Straße der Jugend 5, 08228 Rodewisch