Instrument AT-W29REV. 2026-A

Verificare crawler AI: pot ChatGPT, Claude și Perplexity să vă citească site-ul?

Dacă un asistent AI poate citi site-ul dumneavoastră este stabilit în robots.txt: un grup separat pentru fiecare crawler; altfel se aplică regula comună „User-agent: *”. Contează scopul. GPTBot și ClaudeBot colectează pentru antrenare, OAI-SearchBot și Claude-SearchBot pentru căutare AI, iar ChatGPT-User preia o pagină când cineva întreabă în chat. Verificarea citește regulile pentru 27 de crawlere, verifică llms.txt și vă scrie blocul potrivit.

  • gratuit
  • fără înregistrare
  • 5 minute în memoria cache

Introduceți domeniul, vedeți accesul pentru fiecare crawler

Solicitare · robots.txt, llms.txt și pagina principală

Verificarea citește regulile așa cum sunt astăzi pe server și le evaluează conform RFC 9309. Operatorul crawlerului decide dacă le respectă.

De exemplu firma-dumneavoastra.de. Dacă pagina principală redirecționează la www., verificarea continuă acolo.

Fără specificare, pagina principală. Cu /blog sau /servicii vedeți dacă tocmai această zonă este accesibilă.

Domeniul este trimis serverului nostru pentru verificare. Serverul preia fișierele robots.txt și llms.txt, precum și începutul paginii principale. Domeniul și rezultatul nu sunt consemnate în jurnale. Pentru verificări ulterioare, ambele rămân în memoria de lucru cel mult cinci minute.

Fără solicitare: lipiți textul robots.txt

De exemplu pentru un fișier care nu este încă online. Textul rămâne în browser; se aplică calea de mai sus.

Rezultat

Introduceți mai sus un domeniu. Solicitarea durează câteva secunde.

Ce crawlere AI există și pentru ce citesc

Furnizorii mari nu trimit un singur crawler, ci mai multe, în funcție de scop. Acesta este cel mai important aspect la configurare: cine exclude „AI-ul” ajunge de obicei și să dispară din căutarea AI, unde nu mai este citat ca sursă. Din 2023, site-urile blochează tot mai mult furnizorii AI, și în moduri foarte diferite; cercetătorii au găsit frecvent contradicții între condițiile de utilizare și robots.txt Longpre et al. 2024. De aceea, verificarea arată fiecare crawler separat.

ANTRENARE, DE EXEMPLU GPTBOT, CLAUDEBOT, CCBOTSITE-UL DUMNEAVOASTRĂROBOTS.TXTCRAWLERUL COLECTEAZĂVIITORMODELCĂUTARE AI, DE EXEMPLU OAI-SEARCHBOT, PERPLEXITYBOTSITE-UL DUMNEAVOASTRĂROBOTS.TXTINDEX DE CĂUTARERĂSPUNS CUSURSĂSOLICITARE DE UTILIZATOR, DE EXEMPLU CHATGPT-USERÎNTREBARE ÎN CHATPRELUAREA UNEI PAGINISITE-UL DUMNEAVOASTRĂANTRENARE, DE EXEMPLU GPTBOT,CLAUDEBOT, CCBOTSITE-UL DUMNEAVOASTRĂROBOTS.TXTCRAWLERUL COLECTEAZĂMODEL VIITORCĂUTARE AI, DE EXEMPLU OAI-SEARCHBOT,PERPLEXITYBOTSITE-UL DUMNEAVOASTRĂROBOTS.TXTINDEX DE CĂUTARERĂSPUNS CU SURSĂSOLICITARE DE UTILIZATOR, DE EXEMPLU CHATGPT-USERÎNTREBARE ÎN CHATPRELUAREA UNEI PAGINISITE-UL DUMNEAVOASTRĂ
FIG. 1 · TREI CĂI PRIN CARE AI CITEȘTE SITE-UL DUMNEAVOASTRĂAURIU = REGULA DUMNEAVOASTRĂ DIN ROBOTS.TXT · PUNCTAT = REGULA NU SE APLICĂ ÎNTOTDEAUNA
Patru tipuri, conform informațiilor operatorilor
FelTipuriCe fac
Căutare AI11Construiește indexul din care un asistent AI sau un motor de căutare preia răspunsuri cu surse. Dacă îi blocați accesul la pagină, aceasta poate apărea mai rar sau deloc printre surse.
Antrenare6Colectează conținut din care învață modelele lingvistice. O interdicție se aplică rulărilor de antrenare viitoare, nu modelelor deja antrenate.
Comutator pentru antrenare2Nu este un crawler separat. Regula îi spune operatorului dacă poate utiliza pentru antrenare conținutul pe care îl colectează oricum.
Solicitare de utilizator7Preia o singură pagină deoarece un om întreabă tocmai despre ea. Mai mulți operatori scriu că robots.txt nu se aplică sau nu se aplică întotdeauna în acest caz.

Două intrări merită privite mai atent. Common Crawl nu antrenează el însuși niciun model, dar construiește cea mai mare arhivă liber accesibilă a webului și este una dintre cele mai importante surse pentru preantrenarea modelelor lingvistice mari Baack 2024. Cunoscutul corpus de antrenare C4, de exemplu, a rezultat dintr-o singură astfel de extragere Dodge et al. 2021. Cine refuză antrenarea blochează deci și CCBot; însă nicio regulă nu retrage ce se află deja într-o extragere. Al doilea este Googlebot: apare în listă deoarece prezentările AI și modul AI din Căutarea Google se bazează pe indexul său. Nimeni care vrea să fie găsit pe Google nu îl blochează.

Toate cele 27 de crawlere incluse

Lista crawlerelor, verificată la 14 noiembrie 2026 în documentația fiecărui operator
Nume în robots.txtOperatorScoprobots.txt se aplicăCe scrie operatorul
OAI-SearchBotOpenAICăutare AIda, conform operatoruluiAlimentează căutarea din ChatGPT. Cine îl blochează nu apare acolo ca sursă în răspunsuri.
Claude-SearchBotAnthropicCăutare AIda, conform operatoruluiAlimentează căutarea din Claude. Dacă este blocată, pagina apare mai rar acolo în rezultate.
GooglebotGoogleCăutare AIda, conform operatoruluiCrawlerul Căutării Google. Și prezentările AI, și modul AI folosesc acest index; acolo controlul se face prin nosnippet, max-snippet și noindex.
PerplexityBotPerplexityCăutare AIda, conform operatoruluiConstruiește indexul din care Perplexity oferă linkuri către surse. Potrivit operatorului, nu este folosit pentru antrenarea modelelor.
ApplebotAppleCăutare AIda, conform operatoruluiCrawler pentru căutarea din Siri, Spotlight și Safari. Potrivit Apple, datele pot fi folosite și la antrenarea modelelor Apple; pentru aceasta există Applebot-Extended.
meta-webindexerMetaCăutare AIda, conform operatoruluiIndexează pentru căutarea din Meta AI, astfel încât Meta să poată cita conținutul și să ofere linkuri către acesta.
Amzn-SearchBotAmazonCăutare AIda, conform operatoruluiPentru funcțiile de căutare din produse Amazon precum Alexa, potrivit Amazon nu pentru antrenare.
bingbotMicrosoftCăutare AIda, conform operatoruluiCrawlerul Bing. Microsoft nu indică un identificator AI separat; regulile pentru antrenare și răspunsuri AI se adresează Bingbot din februarie 2027.
MistralAI-IndexMistralCăutare AIda, conform operatoruluiCrawlează doar pentru indexul de căutare, potrivit Mistral nu pentru antrenare.
DuckAssistBotDuckDuckGoCăutare AIda, conform operatoruluiPreia pagini în timp real pentru răspunsurile AI DuckDuckGo, cu indicarea sursei. Potrivit operatorului, nu este folosit pentru antrenare.
YouBotYou.comCăutare AIda, conform operatoruluiCrawlerul motorului de căutare You.com. Respectă robots.txt inclusiv Crawl-delay.
GPTBotOpenAIAntrenareda, conform operatoruluiColectează conținut care poate ajunge în antrenarea modelelor OpenAI. Potrivit OpenAI, blocarea înseamnă că acesta nu este folosit pentru antrenare.
ClaudeBotAnthropicAntrenareda, conform operatoruluiColectează conținut care poate ajunge în antrenarea modelelor Anthropic. Anthropic respectă robots.txt și Crawl-delay.
meta-externalagentMetaAntrenareda, conform operatoruluiColectează pentru antrenarea modelelor AI și pentru produsele Meta.
AmazonbotAmazonAntrenareda, conform operatoruluiÎmbunătățește produsele Amazon; aceasta poate include antrenarea modelelor AI Amazon. Nu respectă Crawl-delay.
MistralAI-TrainingMistralAntrenareda, conform operatoruluiColectează conținut pentru datele de antrenare ale modelelor Mistral.
CCBotCommon CrawlAntrenareda, conform operatoruluiConstruiește o arhivă web liber accesibilă. Common Crawl nu antrenează nimic el însuși, dar arhiva este una dintre cele mai importante surse pentru datele de antrenare.
Google-ExtendedGoogleComutator pentru antrenareda, conform operatoruluiNu este un crawler separat, ci un comutator: poate Google folosi ce preia pentru antrenarea viitoarelor modele Gemini și pentru fundamentarea răspunsurilor Gemini? Potrivit Google, nu afectează Căutarea Google.
Applebot-ExtendedAppleComutator pentru antrenareda, conform operatoruluiNu este un crawler separat. Dacă este blocat, Apple nu folosește conținutul pentru antrenarea modelelor sale; pagina rămâne în căutare.
ChatGPT-UserOpenAISolicitare de utilizatornu întotdeaunaPreia o pagină când cineva o solicită în ChatGPT. Potrivit OpenAI, este posibil ca regulile robots.txt să nu se aplice.
Claude-UserAnthropicSolicitare de utilizatorda, conform operatoruluiSolicită pagini când utilizatorii pun o întrebare în Claude. Anthropic scrie că boții săi respectă robots.txt.
Google-AgentGoogleSolicitare de utilizatornu întotdeaunaNavighează la cererea unui utilizator și execută acțiuni. Potrivit Google, solicitările utilizatorilor ocolesc de regulă robots.txt.
Perplexity-UserPerplexitySolicitare de utilizatornu întotdeaunaPreia pagini când întreabă un utilizator. Potrivit Perplexity, ignoră de regulă robots.txt.
meta-externalfetcherMetaSolicitare de utilizatornu întotdeaunaPreia linkuri individuale la cererea utilizatorului, inclusiv pentru agenți AI. Potrivit Meta, poate ocoli robots.txt.
Amzn-UserAmazonSolicitare de utilizatornu întotdeaunaPreia date actuale pentru o întrebare a utilizatorului, de exemplu în Alexa. Potrivit Amazon, nu respectă toate regulile robots.txt.
MistralAI-UserMistralSolicitare de utilizatorda, conform operatoruluiPreia o pagină când un utilizator întreabă și oferă un link către ea drept sursă. Potrivit Mistral, grupul robots.txt stabilește ce pagini pot fi folosite în acest scop.
BytespiderByteDanceneclarnedoveditNu s-a găsit documentație de la operator. Scopul și modul de tratare a robots.txt nu sunt documentate.

Nu au fost incluse: nume din directoare de boți pe care operatorul nu le menționează el însuși (de exemplu anthropic-ai sau cohere-ai). Potrivit documentației proprii, Cohere nu operează în prezent niciun crawler; Microsoft nu indică un identificator AI separat, iar regulile sale AI se adresează bingbot. Situație la 14 noiembrie 2026.

Blocați antrenarea, permiteți căutarea AI: blocul potrivit

Majoritatea firmelor vor același lucru: să apară drept sursă în răspunsurile ChatGPT, Claude sau Perplexity, dar să nu ofere material de antrenare fără să fie întrebate. Generatorul este presetat astfel. Scrie fiecare grup separat și numai cu Allow și Disallow, fără caractere-joker, deoarece chiar și crawlerele comerciale înțeleg repetat greșit anumite reguli Giles et al. 2010. Lipiți blocul în robots.txt existent; grupul „User-agent: *” rămâne cum este.

Generator · bloc robots.txt

Au voie furnizorii AI să folosească conținutul dumneavoastră pentru antrenare?

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, MistralAI-Training, CCBot, Bytespider

Au voie serviciile de căutare AI să vă citească paginile și să le citeze ca sursă?

OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer, Amzn-SearchBot, MistralAI-Index, DuckAssistBot, YouBot

Au voie asistenții să preia o pagină când cineva întreabă despre ea?

ChatGPT-User, Claude-User, Google-Agent, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User

Ce este blocat în robots.txt la „User-agent: *” trebuie introdus aici. Crawlerele numite nu îl moștenesc.

# KI-Crawler, erstellt mit dem KI-Crawler-Check von aureum-tech.com (Crawler-Liste Stand 14. November 2026)
# Training: gesperrt · KI-Suche: erlaubt · Nutzerabrufe: erlaubt
# Jeder Crawler befolgt nur die Gruppe mit seinem Namen. Was für alle gesperrt sein soll, steht deshalb in jeder Gruppe.

# Training (Schalter wie Google-Extended crawlen nicht selbst, sie regeln nur die Nutzung)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: MistralAI-Training
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

# KI-Suche: liefert Antworten mit Quellenangabe
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: meta-webindexer
Allow: /

User-agent: Amzn-SearchBot
Allow: /

User-agent: MistralAI-Index
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: YouBot
Allow: /

# Nutzerabrufe: laut mehreren Betreibern nicht immer an robots.txt gebunden
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Google-Agent
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: meta-externalfetcher
Allow: /

User-agent: Amzn-User
Allow: /

User-agent: MistralAI-User
Allow: /

# Gemeinsames Trainingssignal (IETF-Entwurf vom 30.10.2026, mehrere Anbieter haben es angekündigt)
User-agent: __usage_ai-training
Disallow: /

Generatorul rulează în browser și nu trimite nimic.

Generator · structură llms.txt

Doar pagini pentru care robots.txt permite accesul crawlerelor de căutare AI. Structura urmează propunerea de pe llmstxt.org.

# Name Ihrer Firma

> Ein Satz: Wer Sie sind, was Sie anbieten und wo.

## Wichtige Seiten

- [Leistungen](https://ihre-firma.de/leistungen): Was Sie anbieten
- [Kontakt](https://ihre-firma.de/kontakt): Telefon, Adresse, Öffnungszeiten

## Optional

- [Impressum](https://ihre-firma.de/impressum)

Rulează în browser. Fișierul se pune ca llms.txt în directorul principal al site-ului.

Capcana cea mai frecventă: grupurile nu moștenesc nimic

Un crawler respectă exact grupul cu numele său. Dacă acesta există, regula comună nu i se mai aplică, nici măcar parțial. În exemplul din dreapta, „User-agent: *” blochează zona /intern/, însă GPTBot primește propriul grup cu „Allow: /”.

Rezultatul pentru /intern/preise: ClaudeBot este blocat (rândul 2: Disallow: /intern/ (grupul *)), în schimb GPTBot poate citi (rândul 5: Allow: / (grupul GPTBot)). Ce trebuie blocat pentru toți trebuie deci să apară în fiecare grup numit. În generator introduceți aceste zone o singură dată, iar el le repetă peste tot.

User-agent: *
Disallow: /intern/

User-agent: GPTBot
Allow: /

Semnalul comun pentru antrenare

Din 30 octombrie 2026 există un proiect IETF menit să scurteze blocările individuale: un grup „User-agent: __usage_ai-training” cu „Disallow: /” le spune dintr-o dată tuturor furnizorilor participanți că nu doriți antrenare. Căile funcționează ca de obicei, iar „Allow: /presse/” face o excepție pentru dosarul de presă. Grupul nu este o comandă de crawling, iar regula comună „User-agent: *” nu contează explicit în acest scop. Fiindcă proiectul este nou și nu fiecare furnizor îl citește încă, generatorul le scrie pe ambele: grupurile individuale și semnalul.

Cine ia în considerare semnalul pentru antrenare, conform propriilor declarații
FurnizorDe când
Anthropicdin 30 octombrie 2026; o grupă ClaudeBot specifică are prioritate
Microsoft (Bing)de la 1 februarie 2027
Googleplanificat pentru 2027; fără grup Google-Extended propriu, Google tratează un refuz ca pe un Google-Extended blocat
OpenAI„în lunile următoare”; regulile GPTBot rămân

Sursă: draft-kelley-aipref-training-preference-signal-00, fără statut de standard, expiră la 3 mai 2027. Situație la 14 noiembrie 2026.

Așa citește un crawler robots.txt

Din septembrie 2022, procedura este stabilită în RFC 9309, iar verificarea calculează la fel. Fișierul se află întotdeauna la /robots.txt în directorul principal și se aplică numai exact acestui host: dacă firma-dumneavoastra.de redirecționează la www.firma-dumneavoastra.de, contează fișierul de pe www. Crawlerul caută grupul cu numele său, fără diferență între majuscule și minuscule; dacă nu există, ia „User-agent: *”, iar dacă nici acesta nu există, are voie totul. În grup câștigă regula potrivită cea mai lungă; la egalitate, Allow. Un asterisc reprezintă orice caractere, iar un dolar la final reprezintă sfârșitul adresei.

Încă din 2007, un studiu pe 7.593 de site-uri a arătat că fișierul este folosit tot mai des, dar și ce este de fapt: o regulă respectată de crawlerele corecte, nu o măsură de impunere Sun et al. 2007. Acest lucru nu s-a schimbat.

Ce înseamnă codul de stare al robots.txt
RăspunsRFC 9309Google
200, fișier textRegulile se aplică, se citesc cel puțin 500 KiBla fel, tot ce urmează după 500 KiB este ignorat
200, dar o pagină webniciun rând valid, deci nicio regulăla fel
404 și alte 4xxfără robots.txt, totul permistotul permis, cu excepția 429
429 prea multe cererica 4xxca o eroare de server
5xx sau indisponibiltotul blocatfără crawling timp de 12 ore, apoi până la 30 de zile ultima versiune bună
Redirecționarese urmează cel puțin cincicel puțin cinci, apoi ca 404

Google stochează fișierul de obicei până la 24 de ore, Amazon până la 30 de zile. De aceea, modificările nu se aplică imediat. Solicitarea noastră urmează cel mult trei redirecționări. Situație la 14 noiembrie 2026.

Indicații direct pe pagini

Pe lângă robots.txt, există indicații pentru fiecare pagină, ca meta-tag în antet sau X-Robots-Tag în răspunsul serverului. Verificarea le citește pe pagina principală. Pentru AI contează mai ales acestea: noindex scoate pagina din indexul de căutare și astfel și din prezentările AI, nosnippet interzice la Google fragmentul de text, inclusiv în prezentările AI și modul AI. Amazon citește noarchive ca „nu pentru antrenare”. Microsoft introduce de la 1 februarie 2027 indicații proprii pentru antrenare și fundamentare (ai-training, ai-grounding) și nu mai citește noarchive și nocache ca indicație AI din martie 2027. Indicații precum „noai” sunt răspândite, dar nu sunt documentate de niciun operator din lista noastră.

Ce nu poate face robots.txt

  • Este o rugăminte. În experimente cu 130 de boți identificați, timp de 40 de zile, boții au respectat mai rar regulile stricte, iar crawlerele de căutare AI de multe ori nici nu au cerut fișierul Kim et al. 2025.
  • Funcționează doar pentru nume. Cu site-uri pregătite special s-a putut demonstra ce solicitant alimentează ce sistem AI, inclusiv mai multe sisteme pe care operatorul nu le dezvăluie Seiden et al. 2026. Cine vine sub alt nume nu întâlnește nicio regulă.
  • Solicitările utilizatorilor trec parțial pe lângă. OpenAI, Perplexity, Meta, Amazon și Google scriu ele însele că solicitările lor la cererea utilizatorilor nu respectă întotdeauna robots.txt. Anthropic și Mistral indică fișierul și pentru acest scop drept control.
  • Blocările ferme sunt pe server. Artiștilor le lipseau adesea cunoștințele sau accesul la propriul site pentru robots.txt, iar blocările pe reverse proxy protejau mai eficient Liu et al. 2025. Invers, unele servicii de găzduire și constructori de site-uri blochează crawlere fără ca proprietarul să știe: într-o extragere Common Crawl, circa 1,68 % dintre site-uri refuzau explicit crawlerul Ansar et al. 2025. Dacă pagina principală răspunde solicitării noastre cu o pagină de verificare, verificarea semnalează acest lucru.
  • Solicitarea noastră nu este un crawler AI. Serverul solicită cu propriul identificator. Dacă un firewall blochează crawlerele după nume, de exemplu printr-o setare Cloudflare, verificarea nu vede asta.

Și din punct de vedere juridic?

Conform § 44b alin. 3 UrhG, textul și data mining pentru opere accesibile liber sunt permise atât timp cât titularul drepturilor nu își rezervă dreptul, iar pentru conținutul de pe internet contează doar o rezervare în formă care poate fi citită de mașini. robots.txt poate fi citit de mașini, însă nu este clarificat definitiv dacă este suficient ca rezervare. O lucrare de drept argumentează că, în țările de common law, ocolirea fișierului poate atrage răspundere în anumite situații Chang și He 2025; pentru Germania trebuie verificat separat. Cine dorește să declare o rezervare o scrie, de aceea, și în Impressum sau în condițiile de utilizare. Aceasta nu este consultanță juridică.

llms.txt: ce poate face fișierul și ce nu poate

Jeremy Howard a propus llms.txt la 3 septembrie 2024, iar descrierea se află pe llmstxt.org. Este un fișier Markdown la /llms.txt: un titlu cu numele, singura parte obligatorie, apoi o scurtă descriere ca citat, la dorință câteva propoziții și secțiuni cu liste de linkuri către paginile importante. O secțiune „Optional” include ce poate omite un asistent.

O măsurătoare pe circa 4 milioane de domenii a găsit fișierul mai ales la firme de tehnologie, iar unele linkuri ale sale duceau la pagini pe care propriul robots.txt le blochează Hoffmann et al. 2026. Tocmai asta verifică instrumentul. Un indicator spre pagini blocate nu duce nicăieri.

Sincer: Google scrie în documentația despre prezentările AI că nu trebuie create fișiere noi care pot fi citite de mașini, iar niciun operator inclus aici nu menționează în documentația crawlerului său că citește llms.txt-ul altor site-uri. Nu este deci o pârghie pentru vizibilitate. Totuși este util ca auto-descriere scurtă și clară, pe care un asistent o poate citi la o solicitare de utilizator, și fiindcă se face în zece minute.

Al nostru se află la aureum-tech.com/llms.txt. Generatorul de mai sus creează structura pentru al dumneavoastră.

Faptul că pot citi nu înseamnă încă faptul că vă vor menționa

Verificarea răspunde la o întrebare preliminară. Dacă ChatGPT vă menționează firma când cineva caută un electrician în Plauen depinde de conținutul paginilor dumneavoastră și de ce scriu alții despre dumneavoastră. În experimente, vizibilitatea surselor în răspunsurile AI a putut fi crescută cu până la 40 %, prin pregătirea conținutului, cu mijloace diferite în funcție de domeniu Aggarwal et al. 2024. La Google, într-o măsurătoare cu 55.393 de căutări, o prezentare AI a apărut în 13,7 % dintre cazuri, iar pentru întrebări în 64,7 %; aproape 30 % dintre domeniile citate acolo nu se aflau printre rezultatele de pe prima pagină Xu et al. 2026.

A fi menționat nu înseamnă nici a fi citat corect. În patru motoare de căutare AI, în medie doar puțin peste jumătate dintre propoziții erau susținute de sursele indicate Liu et al. 2023. Iar cine blochează crawlerul AI Google este folosit mai rar ca sursă în prezentările AI, deși Google scrie că acest comutator nu influențează căutarea Grossman et al. 2026.

Quick-Check-ul SpotLens arată cât de vizibilă este cu adevărat firma dumneavoastră în ChatGPT, Perplexity și AI-ul Google. La AI-SEO aflați cum construim conținut și date structurate astfel încât căutările AI să le citeze. Cine vrea întâi să verifice singur găsește în ghid cum să verifice vizibilitatea în ChatGPT și ce înseamnă vizibilitatea AI pentru firme. Testați reguli individuale în testerul robots.txt, iar alte instrumente pentru a fi găsit sunt la SEO și vizibilitate.

Ce spune cercetarea despre asta

Încadrarea din verificare se bazează pe 15 lucrări evaluate. Cele mai importante constatări și lista completă cu nota de verificare se află mai jos.

  • Blocările cresc, dar neuniform. Într-un an, părți mari din sursele din spatele datelor de antrenare AI au fost blocate, diferit de la furnizor la furnizor Longpre et al. 2024. De aceea, verificarea arată crawlerele separat.
  • Regulile sunt respectate selectiv. Cu cât regula era mai strictă, cu atât boții o respectau mai rar Kim et al. 2025. De aceea, verificarea nu măsoară ceva ce nu poate măsura și spune acest lucru.
  • Antrenarea se face prin arhive. Common Crawl este una dintre cele mai importante surse pentru preantrenare Baack 2024, iar corpuri precum C4 rezultă din extrageri individuale Dodge et al. 2021. De aceea, verificarea avertizează dacă CCBot rămâne deschis.
  • Prezentările AI aleg surse proprii. Multe domenii citate nu sunt pe prima pagină Xu et al. 2026, iar crawlerele AI blocate sunt asociate cu menționări mai rare Grossman et al. 2026.
  • llms.txt este nou și adesea contradictoriu. Linkurile din fișier duc parțial la pagini blocate Hoffmann et al. 2026; verificarea controlează fiecare link propriu.

Folosiți acest instrument dintr-un asistent AI

Asistenții precum Claude sau ChatGPT, care folosesc Model Context Protocol (MCP), pot apela direct calculul de pe această pagină, în loc să îl refacă. Serverul este public, nu cere autentificare și nu stochează nimic. Răspunsul conține întotdeauna linkul către această pagină, data la care au fost actualizate datele și limitele rezultatului.

Endpoint
https://aureum-tech.com/mcp
Instrument
werkzeug_ki_crawler_check
Transport
Streamable HTTP, doar citire
Date de intrare
NumeObligatoriuSemnificație
domainnuDomeniul site-ului, de exemplu firma-dumneavoastra.de sau https://www.firma-dumneavoastra.de. O cale este ignorată, robots.txt se află întotdeauna în directorul rădăcină. Numai site-uri publice, portul 80 sau 443.
robots_txtnuÎn locul domeniului: textul unui robots.txt, evaluat fără solicitare. Nu indicați împreună cu domain.
pfadnuCalea pentru care se verifică, de exemplu /blog/articol. Fără specificare, pagina principală „/”.

Întrebări la care un asistent ar trebui să îl apeleze

  • „Poate ChatGPT să citească site-ul meu handwerk-muster.de?”
  • „Robots.txt-ul nostru blochează din greșeală căutarea AI din Perplexity și ChatGPT?”
  • „Cum interzic antrenarea AI, dar rămân vizibil în căutarea ChatGPT și Claude?”
  • „www.beispiel-praxis.de are un llms.txt și linkurile sale duc la pagini blocate?”

Cum funcționează conectarea și ce poate face MCP în firma dumneavoastră aflați pe pagina despre integrări MCP.

Întrebări frecvente despre crawlere AI, robots.txt și llms.txt

Cum blochez antrenarea AI fără să dispar din căutarea ChatGPT?

OpenAI le separă: GPTBot colectează pentru antrenare, OAI-SearchBot pentru căutarea din ChatGPT, iar fiecare setare funcționează separat. În robots.txt, GPTBot primește deci „Disallow: /” și OAI-SearchBot „Allow: /”. La Anthropic este la fel pentru ClaudeBot și Claude-SearchBot, iar la Google blocați Google-Extended și lăsați Googlebot neafectat. Generatorul de pe această pagină scrie întregul bloc pentru toți furnizorii incluși.

Care este diferența dintre GPTBot, OAI-SearchBot și ChatGPT-User?

GPTBot colectează conținut care poate ajunge în antrenarea modelelor viitoare. OAI-SearchBot construiește indexul din care ChatGPT citează surse la o căutare; potrivit OpenAI, dacă blocați crawlerul, pagina nu mai apare în răspunsurile din căutare. ChatGPT-User ia o singură pagină deoarece cineva o cere în chat. Potrivit OpenAI, este posibil ca regulile robots.txt să nu se aplice acestei solicitări.

Iese site-ul meu din Google dacă blochez Google-Extended?

Nu. Google-Extended nu este un crawler separat, ci un comutator pentru a stabili dacă Google poate folosi ce a colectat pentru antrenarea Gemini și fundamentarea răspunsurilor Gemini. Potrivit Google, nu afectează nici includerea în căutare, nici poziționarea. Prezentările AI din Căutarea Google depind de Googlebot și de reguli pentru fragmente, precum nosnippet. Totuși, o măsurătoare din 2026 a găsit mai rar ca sursă în prezentările AI pagini care blocaseră crawlerul AI al Google.

Am nevoie de un llms.txt?

Nu este obligatoriu. llms.txt este o propunere a lui Jeremy Howard din septembrie 2024: un fișier Markdown cu titlu, scurtă descriere și linkuri către paginile importante. Google scrie explicit că pentru prezentările AI nu sunt necesare fișiere noi care pot fi citite de mașini, iar niciun operator inclus aici nu spune în documentația crawlerului său că îl citește. Nu face rău și se creează rapid; generatorul oferă structura. Mai important este ca linkurile să nu ducă la pagini blocate.

Respectă fiecare crawler robots.txt?

Nu. robots.txt este o rugăminte, nu o încuietoare. Măsurătorile arată că boții respectă mai rar regulile stricte, iar crawlerele de căutare AI adesea nici nu cer fișierul. Solicitările utilizatorilor, precum ChatGPT-User, Perplexity-User sau meta-externalfetcher, ocolesc parțial robots.txt potrivit operatorilor lor, iar cine colectează fără nume nu apare în nicio regulă. Pentru o blocare reală, aveți nevoie de o restricție pe server sau la furnizorul de găzduire.

Se aplică blocarea și modelelor deja antrenate?

Nu. OpenAI și Anthropic descriu blocarea ca semnal pentru antrenarea viitoare. Datele de antrenare provin din extrageri fixe de pe web, de exemplu arhiva Common Crawl; ceea ce se află deja acolo rămâne. De aceea, merită să luați în calcul și CCBot dacă refuzați antrenarea.

Ce înseamnă „User-agent: __usage_ai-training”?

Este semnalul comun pentru antrenare dintr-un proiect IETF din 30 octombrie 2026. Un grup cu acest nume și „Disallow: /” le spune dintr-o dată tuturor furnizorilor participanți că nu doriți antrenare. Anthropic îl ia deja în considerare, conform propriilor declarații, Microsoft de la 1 februarie 2027, Google îl planifică pentru 2027, iar OpenAI în lunile următoare. Nu este o comandă de crawling, iar grupul „User-agent: *” nu contează explicit în acest scop.

Unde se oprește verificarea crawlerelor AI?

Citește regulile din robots.txt, llms.txt și indicațiile Robots de pe pagina principală și spune, pentru fiecare crawler, ce este permis. Nu măsoară dacă un crawler respectă regulile și nici dacă un asistent AI vă cunoaște firma și o recomandă. Acestea le arată SpotLens-Quick-Check; la AI-SEO aflați cum trebuie construite conținuturile pentru ca motoarele de căutare AI să le citeze. La cerere, configurăm fișierele pentru dumneavoastră.

Pe ce se bazează instrumentul

Valorile orientative și indicațiile de mai sus se bazează pe aceste 15 lucrări științifice. Fiecare a fost verificată prin DOI sau pe pagina editurii (ultima dată la 14 noiembrie 2026): lucrarea există, nu a fost retrasă, iar concluzia ei rămâne valabilă și astăzi pentru întrebarea de față.

  1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), p. 1123–1124

    Constatare Cinci studii pe 7.593 de site-uri arată că robots.txt este folosit tot mai des. Fișierul nu este o măsură de impunere, ci o regulă respectată de crawlerele corecte.

    În instrument Stabilește principiul paginii: robots.txt este o rugăminte adresată crawlerelor, nu o încuietoare.

  2. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), p. 1101–1102

    Constatare Majoritatea crawlerelor comerciale respectau regulile, însă multe încălcau sau înțelegeau repetat greșit anumite reguli robots.txt.

    În instrument De aceea, generatorul scrie fiecare grup separat și numai cu Allow și Disallow, fără caractere-joker.

  3. Kim, T.; Bock, K.; Luo, C. et al. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), p. 541–557

    Constatare În teste controlate cu 130 de boți identificați, desfășurate timp de 40 de zile, boții au respectat mai rar regulile mai stricte; crawlerele de căutare AI nici măcar nu consultau adesea robots.txt.

    În instrument Justifică limita „citește regulile, nu măsoară comportamentul” și observația privind accesările utilizatorilor blocate.

  4. Liu, E.; Luo, E.; Shan, S. et al. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), p. 78–99

    Constatare Măsurătorile și un chestionar cu 203 artiști arată o nevoie mare de robots.txt, dar și obstacole legate de cunoștințe și de accesul la propriul site. Blocările la reverse proxy protejau mai eficient, dar sunt puțin răspândite.

    În instrument De aceea, recomandarea este să implicați hosterul sau proxy-ul pentru o blocare fermă, iar generatorul nu presupune cunoașterea unui termen tehnic.

  5. Seiden, S.; Ren, T.; Zhang, C. et al. (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026), p. 6998–7012

    Constatare Cu site-uri pregătite special și 22 de sisteme AI s-a putut identifica ce client alimentează fiecare model, inclusiv mai multe pe care operatorul lor nu le dezvăluie.

    În instrument Susține limita că tabelul cunoaște doar crawlerele documentate de operatorul lor sub propriul nume.

  6. Longpre, S.; Mahari, R.; Lee, A. et al. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), p. 108042–108087

    Constatare O verificare a 14.000 de domenii din spatele datelor de antrenare AI a constatat, într-un an, o creștere puternică a blocărilor, diferențe mari între furnizorii AI și contradicții frecvente între termenii de utilizare și robots.txt.

    În instrument De aceea, verificarea afișează fiecare crawler separat, în loc să raporteze doar „AI permis” sau „AI blocat”.

  7. Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024), p. 2199–2208

    Constatare Common Crawl este cea mai mare colecție disponibilă liber de date web și una dintre cele mai importante surse pentru preantrenarea modelelor lingvistice mari, adesea cu o pondere mare în materialul de antrenare.

    În instrument De aceea, CCBot apare la Antrenare, iar verificarea avertizează dacă anumite crawlere de antrenare sunt blocate, dar CCBot nu este.

  8. Dodge, J.; Sap, M.; Marasović, A. et al. (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), p. 1286–1305

    Constatare Corpusul de antrenare C4 a fost creat dintr-un singur export Common Crawl și conține texte din surse neașteptate, precum brevete și site-uri militare.

    În instrument Demonstrează în text că seturile de date de antrenare provin din exporturi fixe: ce ajunge acolo o dată nu mai poate fi oprit printr-o interdicție ulterioară.

  9. Aggarwal, P.; Murahari, V.; Rajpurohit, T. et al. (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), p. 5–16

    Constatare Conținutul poate fi pregătit astfel încât motoarele de căutare AI să îl citeze cu până la 40 la sută mai vizibil; ce funcționează depinde de domeniu.

    În instrument Susține delimitarea: accesul este condiția necesară, dar conținutul decide dacă este citat. Pentru aceasta, pagina trimite la AI-SEO.

  10. Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, p. 7001–7025

    Constatare În patru motoare de căutare AI, în medie doar puțin peste jumătate dintre propoziții erau susținute integral de surse, iar aproximativ un sfert dintre citări nu susțineau propoziția.

    În instrument Susține limita că accesul liber nu garantează o citare corectă: verificarea controlează citirea, nu răspunsul.

  11. Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026), p. 529–546

    Constatare Din 55.393 de căutări, o prezentare generală AI a apărut în 13,7 la sută dintre cazuri, iar la întrebări în 64,7 la sută. Aproape 30 la sută dintre domeniile citate nu apăreau printre rezultatele de pe prima pagină.

    În instrument Explică de ce Googlebot apare în verificare: prezentările generale AI aleg surse din index, dar nu numai din primele rezultate.

  12. Grossman, R.; Liu, S.; Chen, M. K. et al. (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), p. 448–459

    Constatare La 11.500 de căutări, sursele Google Search, prezentării generale AI și Gemini au fost foarte diferite. Site-urile care blochează crawlerele AI ale Google au fost folosite mai rar ca sursă în prezentările generale AI.

    În instrument Observația pentru Google-Extended blocat pune această constatare alături de afirmația Google că setarea nu afectează căutarea.

  13. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, p. 29–41

    Constatare O măsurătoare pe circa 4 milioane de domenii arată că robots.txt rămâne cel mai important mijloc, iar fișierele specifice AI, precum ai.txt și llms.txt, apar mai ales la firmele de tehnologie. Unele linkuri din fișierele llms.txt indică spre pagini pe care robots.txt le blochează.

    În instrument De aici verificarea dacă linkurile din llms.txt indică spre pagini blocate.

  14. Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, articolul 106176

    Constatare Odată cu AI generativă, ignorarea robots.txt cântărește mai mult. Lucrarea argumentează, pentru țările de common law, că fișierul poate funcționa în anumite condiții ca un contract unilateral sau ca avertisment cu urmări privind răspunderea.

    În instrument Susține observația că robots.txt înseamnă mai mult decât tehnică, cu precizarea că situația juridică din Germania trebuie analizată separat.

  15. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, p. 197–214

    Constatare Aproximativ 1,68 la sută dintre site-urile dintr-un export Common Crawl au respins explicit crawlerul, adesea prin hosteri mari și furnizori de site-uri construite cu șabloane, de la blocare până la pagina de verificare.

    În instrument De aceea apare observația atunci când pagina principală răspunde cu o pagină de verificare: protecția anti-boți blochează indiferent de robots.txt.

Standarde, autorități și informații de la producători

Luni–vineri, orele 8–17

Trimiteți-ne rezultatul copiat. Configurăm robots.txt, llms.txt și datele structurate astfel încât căutările AI să vă poată citi paginile, iar antrenarea să aibă loc doar acolo unde doriți, în Rodewisch și în tot Vogtland.

+49 3744 4399760[email protected]

Luni–vineri, orele 8–17 · Straße der Jugend 5, 08228 Rodewisch

Solicitați configurarea accesului AI
+49 3744 4399760Luni–vineri, orele 8–17
SunațiVă sunăm noi

LISTĂ DE COMPONENTE · FILA 1/1

Din ce este făcută această pagină

Valori măsurate la build. Cu JavaScript, browserul dumneavoastră le măsoară din nou, în timp real.

POZ.COMPONENTĂTIPDIMENSIUNE
01index.htmlDocument≈ 29 kB
02styles.cssFoaie de stil≈ 20 kB
03scripts.jsScript≈ 13 kB
04archivo-variable.woff2Font≈ 58 kB
05ibm-plex-mono.woff2Font≈ 30 kB
06favicon.svgGrafică< 1 kB

Cookie-uri de publicitate sau de analiză: niciunul. Fără consimțământul dumneavoastră, pagina nu încarcă nimic de pe serverele altor firme, în afară de Cloudflare, serviciul prin care o livrăm. Fonturile, scripturile și grafica sunt găzduite la noi. La fel construim și IT-ul dumneavoastră.

ÎN AFARA PROGRAMULUI

Sunați totuși, fără grijă

În mod normal suntem la birou de luni până vineri, între orele 8 și 17.

Numărul este redirecționat către noi și seara, și în weekend, iar de multe ori răspunde cineva. Nu putem însă promite asta.

Dacă nu răspunde nimeni, lăsați un mesaj scurt pe mesageria vocală: numele, numărul și despre ce este vorba. Vă sunăm înapoi cât putem de repede, cel târziu în următoarea zi lucrătoare.

Convorbirea nu costă nimic. Dacă trebuie să intervină cineva imediat, în afara programului, se aplică majorarea din lista de prețuri.

Sunați acum+49 3744 4399760

Preferați să scrieți? Folosiți formularul de contact sau scrieți la [email protected]. Citim mesajele în următoarea zi lucrătoare.

DIAGNOSTIC · AT-K2

Ce problemă aveți?

↵ SELECTAȚIESC ÎNCHIDEȚISUNAȚI: +49 3744 4399760

Setări individuale

Ce servicii au voie să se încarce?

Necesare din punct de vedere tehnic

Alegerea pe care o faceți aici, precum și setările pentru schema de culori și animații. Aceste informații rămân pe dispozitivul dumneavoastră, ca mici înregistrări, și nu sunt trimise niciodată către un server. Sunt necesare pentru funcționarea site-ului și de aceea nu pot fi dezactivate.