# aureum-tech.com — alle Crawler willkommen, auch KI-Suchmaschinen. User-agent: * Allow: / # ===================================================================== # KI-Crawler namentlich, ausgeschrieben am 05.09.2026 # # Anlass: Ein Prüfbericht vom 05.09.2026 hat bemängelt, dass hier nur # fünf KI-Bots mit Namen standen und die übrigen elf der 16 geprüften # stillschweigend über die Sammelregel oben liefen. Crawlen durften sie # damit auch. Nachlesbar war die Entscheidung nicht. # # Die 23 Blöcke unten ändern deshalb NICHTS am Verhalten. Ohne sie # dürften dieselben Bots über "User-agent: *" genauso crawlen. Sie # stehen hier, damit wer die Datei öffnet sieht, dass das erlaubte # Crawlen so gewollt und je Betreiber einzeln angesehen worden ist. # # FALLE: robots.txt vererbt nicht. Ein Crawler befolgt genau die eine # Gruppe mit seinem Namen, die Sammelregel gilt für ihn dann nicht mehr. # Wer oben ein "Disallow" einträgt, muss es in jeden Block hier unten # wiederholen. Sonst crawlen ausgerechnet die 23 Genannten weiter. # # Jede Kennung stammt aus der Doku des Betreibers, Quelle steht über # dem Block. Der Standard vergleicht die Namen ohne Rücksicht auf Groß- # und Kleinschreibung; wir schreiben sie trotzdem genau so, wie der # Betreiber sie veröffentlicht, damit der Abgleich mit der Quelle ohne # Nachdenken geht. # ===================================================================== # --- OpenAI (ChatGPT) ------------------------------------------------ # Quelle: https://developers.openai.com/api/docs/bots # GPTBot sammelt Trainingsmaterial. OAI-SearchBot beliefert die Suche in # ChatGPT; ohne ihn taucht die Seite dort nicht als Antwortquelle auf. # ChatGPT-User holt eine einzelne Seite, weil ein Nutzer gerade danach # gefragt hat. # Nicht aufgeführt: OAI-AdsBot. Der prüft nur Seiten, die als Anzeige # bei ChatGPT eingereicht wurden, und wir schalten dort keine. User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / # --- Anthropic (Claude) ---------------------------------------------- # Quelle: https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler # Dieselbe Dreiteilung wie bei OpenAI: ClaudeBot sammelt für das # Training, Claude-SearchBot arbeitet der Suche zu, Claude-User ruft auf # Zuruf eines Nutzers ab. User-agent: ClaudeBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / # --- Google (Gemini) ------------------------------------------------- # Quelle: https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers # Google-Extended ist kein eigener Crawler, sondern der Schalter dafür, # ob das ohnehin von Googlebot Geholte in Gemini einfließen darf. Das # "Allow" ist hier also die ausdrückliche Zustimmung, kein Zugang. # Googlebot selbst fehlt mit Absicht: normale Suche, läuft über die # Sammelregel und hat mit der KI-Frage nichts zu tun. User-agent: Google-Extended Allow: / # --- Perplexity ------------------------------------------------------ # Quelle: https://docs.perplexity.ai/guides/bots # PerplexityBot baut den Index für die Antwortsuche auf. Perplexity-User # folgt einem Link, den ein Nutzer angestoßen hat, und ignoriert laut # Betreiber robots.txt ohnehin. Der Block hält unsere Haltung fest, er # erzwingt nichts. User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / # --- Meta (Meta AI) -------------------------------------------------- # Quelle: https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ # Kleinschreibung übernommen, so steht sie im robots.txt-Beispiel des # Betreibers. meta-externalagent sammelt fürs Modelltraining, # meta-webindexer für die Suche in Meta AI. meta-externalfetcher holt # einzelne Links auf Nutzerwunsch und darf robots.txt umgehen. # facebookexternalhit fehlt bewusst: das ist der Vorschaubild-Abruf beim # Teilen eines Links, kein KI-Crawler. User-agent: meta-externalagent Allow: / User-agent: meta-webindexer Allow: / User-agent: meta-externalfetcher Allow: / # --- Apple ----------------------------------------------------------- # Quelle: https://support.apple.com/en-us/119829 # Applebot beliefert Siri und Spotlight. Applebot-Extended ist wie # Google-Extended nur ein Schalter, hier für das Training von Apples # eigenen Modellen. User-agent: Applebot Allow: / User-agent: Applebot-Extended Allow: / # --- Amazon ---------------------------------------------------------- # Quelle: https://developer.amazon.com/amazonbot # Amazonbot darf für Amazons Modelle sammeln. Amzn-SearchBot füttert die # Suche in Amazon-Produkten. Amzn-User beantwortet eine Alexa-Frage, die # tagesaktuelle Daten braucht. User-agent: Amazonbot Allow: / User-agent: Amzn-SearchBot Allow: / User-agent: Amzn-User Allow: / # --- Mistral (Le Chat, Vibe) ----------------------------------------- # Quelle: https://docs.mistral.ai/robots # MistralAI-Training sammelt fürs Modell, MistralAI-Index für die Suche, # MistralAI-User für den einzelnen Abruf während eines Gesprächs. User-agent: MistralAI-Training Allow: / User-agent: MistralAI-Index Allow: / User-agent: MistralAI-User Allow: / # --- You.com --------------------------------------------------------- # Quelle: https://you.com/docs/youbot # YouBot liefert Webinhalte an die Suche von You.com und an deren APIs, # über die andere Anbieter ihre Antworten mit Quellen unterlegen. User-agent: YouBot Allow: / # --- Common Crawl ---------------------------------------------------- # Quelle: https://commoncrawl.org/ccbot # CCBot trainiert kein eigenes Modell. Er baut das offene Archiv, aus # dem sich fast jeder Modellhersteller bedient. Wer hier zumacht, fehlt # auf Jahre in vielen Trainingsdaten, ohne dass ein einzelner Anbieter # davon erfährt. User-agent: CCBot Allow: / # --- ByteDance (TikTok, Doubao) -------------------------------------- # Der einzige Eintrag ohne Betreiber-Doku. ByteDance veröffentlicht # weder eine Crawler-Seite noch IP-Bereiche, und mehrere Auswertungen # von Serverprotokollen zeigen, dass Bytespider die robots.txt zwar # abholt, sich aber nicht daran hält. Der Block hält nur fest, dass wir # ihm nichts verbieten. Als Steuerung taugt er nicht. User-agent: Bytespider Allow: / # --- Absichtlich ohne eigenen Block ---------------------------------- # Microsoft/Bing: Copilot greift auf den Bing-Index zu, den bingbot # füllt. Eine eigene KI-Kennung gibt es nicht. Gesteuert wird über die # Meta-Tags noarchive und nocache, die wir nirgends setzen. bingbot # selbst läuft über die Sammelregel. # https://blogs.bing.com/webmaster/september-2023/Announcing-new-options-for-webmasters-to-control-usage-of-their-content-in-Bing-Chat # # Cohere: schreibt in der eigenen Crawler-Doku, derzeit gar keinen Bot # für Trainingsdaten zu betreiben, und nennt entsprechend keine Kennung. # Die kursierenden Namen cohere-ai und cohere-training-data-crawler # stammen aus fremden Bot-Verzeichnissen, nicht von Cohere. Deshalb # steht hier keiner davon; sobald Cohere eine Kennung veröffentlicht, # gehört sie nachgetragen. # https://docs.cohere.com/docs/cohere-web-crawlers Sitemap: https://aureum-tech.com/sitemap.xml