Instrument AT-W29REV. 2026-A
Verificare crawler AI: pot ChatGPT, Claude și Perplexity să vă citească site-ul?
Dacă un asistent AI poate citi site-ul dumneavoastră este stabilit în robots.txt: un grup separat pentru fiecare crawler; altfel se aplică regula comună „User-agent: *”. Contează scopul. GPTBot și ClaudeBot colectează pentru antrenare, OAI-SearchBot și Claude-SearchBot pentru căutare AI, iar ChatGPT-User preia o pagină când cineva întreabă în chat. Verificarea citește regulile pentru 27 de crawlere, verifică llms.txt și vă scrie blocul potrivit.
- gratuit
- fără înregistrare
- 5 minute în memoria cache
01 / SOLICITARE
Introduceți domeniul, vedeți accesul pentru fiecare crawler
Solicitare · robots.txt, llms.txt și pagina principală
Verificarea citește regulile așa cum sunt astăzi pe server și le evaluează conform RFC 9309. Operatorul crawlerului decide dacă le respectă.
Fără solicitare: lipiți textul robots.txt
De exemplu pentru un fișier care nu este încă online. Textul rămâne în browser; se aplică calea de mai sus.
02 / CRAWLERE
Ce crawlere AI există și pentru ce citesc
Furnizorii mari nu trimit un singur crawler, ci mai multe, în funcție de scop. Acesta este cel mai important aspect la configurare: cine exclude „AI-ul” ajunge de obicei și să dispară din căutarea AI, unde nu mai este citat ca sursă. Din 2023, site-urile blochează tot mai mult furnizorii AI, și în moduri foarte diferite; cercetătorii au găsit frecvent contradicții între condițiile de utilizare și robots.txt Longpre et al. 2024. De aceea, verificarea arată fiecare crawler separat.
| Fel | Tipuri | Ce fac |
|---|---|---|
| Căutare AI | 11 | Construiește indexul din care un asistent AI sau un motor de căutare preia răspunsuri cu surse. Dacă îi blocați accesul la pagină, aceasta poate apărea mai rar sau deloc printre surse. |
| Antrenare | 6 | Colectează conținut din care învață modelele lingvistice. O interdicție se aplică rulărilor de antrenare viitoare, nu modelelor deja antrenate. |
| Comutator pentru antrenare | 2 | Nu este un crawler separat. Regula îi spune operatorului dacă poate utiliza pentru antrenare conținutul pe care îl colectează oricum. |
| Solicitare de utilizator | 7 | Preia o singură pagină deoarece un om întreabă tocmai despre ea. Mai mulți operatori scriu că robots.txt nu se aplică sau nu se aplică întotdeauna în acest caz. |
Două intrări merită privite mai atent. Common Crawl nu antrenează el însuși niciun model, dar construiește cea mai mare arhivă liber accesibilă a webului și este una dintre cele mai importante surse pentru preantrenarea modelelor lingvistice mari Baack 2024. Cunoscutul corpus de antrenare C4, de exemplu, a rezultat dintr-o singură astfel de extragere Dodge et al. 2021. Cine refuză antrenarea blochează deci și CCBot; însă nicio regulă nu retrage ce se află deja într-o extragere. Al doilea este Googlebot: apare în listă deoarece prezentările AI și modul AI din Căutarea Google se bazează pe indexul său. Nimeni care vrea să fie găsit pe Google nu îl blochează.
Toate cele 27 de crawlere incluse
| Nume în robots.txt | Operator | Scop | robots.txt se aplică | Ce scrie operatorul |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | Căutare AI | da, conform operatorului | Alimentează căutarea din ChatGPT. Cine îl blochează nu apare acolo ca sursă în răspunsuri. |
| Claude-SearchBot | Anthropic | Căutare AI | da, conform operatorului | Alimentează căutarea din Claude. Dacă este blocată, pagina apare mai rar acolo în rezultate. |
| Googlebot | Căutare AI | da, conform operatorului | Crawlerul Căutării Google. Și prezentările AI, și modul AI folosesc acest index; acolo controlul se face prin nosnippet, max-snippet și noindex. | |
| PerplexityBot | Perplexity | Căutare AI | da, conform operatorului | Construiește indexul din care Perplexity oferă linkuri către surse. Potrivit operatorului, nu este folosit pentru antrenarea modelelor. |
| Applebot | Apple | Căutare AI | da, conform operatorului | Crawler pentru căutarea din Siri, Spotlight și Safari. Potrivit Apple, datele pot fi folosite și la antrenarea modelelor Apple; pentru aceasta există Applebot-Extended. |
| meta-webindexer | Meta | Căutare AI | da, conform operatorului | Indexează pentru căutarea din Meta AI, astfel încât Meta să poată cita conținutul și să ofere linkuri către acesta. |
| Amzn-SearchBot | Amazon | Căutare AI | da, conform operatorului | Pentru funcțiile de căutare din produse Amazon precum Alexa, potrivit Amazon nu pentru antrenare. |
| bingbot | Microsoft | Căutare AI | da, conform operatorului | Crawlerul Bing. Microsoft nu indică un identificator AI separat; regulile pentru antrenare și răspunsuri AI se adresează Bingbot din februarie 2027. |
| MistralAI-Index | Mistral | Căutare AI | da, conform operatorului | Crawlează doar pentru indexul de căutare, potrivit Mistral nu pentru antrenare. |
| DuckAssistBot | DuckDuckGo | Căutare AI | da, conform operatorului | Preia pagini în timp real pentru răspunsurile AI DuckDuckGo, cu indicarea sursei. Potrivit operatorului, nu este folosit pentru antrenare. |
| YouBot | You.com | Căutare AI | da, conform operatorului | Crawlerul motorului de căutare You.com. Respectă robots.txt inclusiv Crawl-delay. |
| GPTBot | OpenAI | Antrenare | da, conform operatorului | Colectează conținut care poate ajunge în antrenarea modelelor OpenAI. Potrivit OpenAI, blocarea înseamnă că acesta nu este folosit pentru antrenare. |
| ClaudeBot | Anthropic | Antrenare | da, conform operatorului | Colectează conținut care poate ajunge în antrenarea modelelor Anthropic. Anthropic respectă robots.txt și Crawl-delay. |
| meta-externalagent | Meta | Antrenare | da, conform operatorului | Colectează pentru antrenarea modelelor AI și pentru produsele Meta. |
| Amazonbot | Amazon | Antrenare | da, conform operatorului | Îmbunătățește produsele Amazon; aceasta poate include antrenarea modelelor AI Amazon. Nu respectă Crawl-delay. |
| MistralAI-Training | Mistral | Antrenare | da, conform operatorului | Colectează conținut pentru datele de antrenare ale modelelor Mistral. |
| CCBot | Common Crawl | Antrenare | da, conform operatorului | Construiește o arhivă web liber accesibilă. Common Crawl nu antrenează nimic el însuși, dar arhiva este una dintre cele mai importante surse pentru datele de antrenare. |
| Google-Extended | Comutator pentru antrenare | da, conform operatorului | Nu este un crawler separat, ci un comutator: poate Google folosi ce preia pentru antrenarea viitoarelor modele Gemini și pentru fundamentarea răspunsurilor Gemini? Potrivit Google, nu afectează Căutarea Google. | |
| Applebot-Extended | Apple | Comutator pentru antrenare | da, conform operatorului | Nu este un crawler separat. Dacă este blocat, Apple nu folosește conținutul pentru antrenarea modelelor sale; pagina rămâne în căutare. |
| ChatGPT-User | OpenAI | Solicitare de utilizator | nu întotdeauna | Preia o pagină când cineva o solicită în ChatGPT. Potrivit OpenAI, este posibil ca regulile robots.txt să nu se aplice. |
| Claude-User | Anthropic | Solicitare de utilizator | da, conform operatorului | Solicită pagini când utilizatorii pun o întrebare în Claude. Anthropic scrie că boții săi respectă robots.txt. |
| Google-Agent | Solicitare de utilizator | nu întotdeauna | Navighează la cererea unui utilizator și execută acțiuni. Potrivit Google, solicitările utilizatorilor ocolesc de regulă robots.txt. | |
| Perplexity-User | Perplexity | Solicitare de utilizator | nu întotdeauna | Preia pagini când întreabă un utilizator. Potrivit Perplexity, ignoră de regulă robots.txt. |
| meta-externalfetcher | Meta | Solicitare de utilizator | nu întotdeauna | Preia linkuri individuale la cererea utilizatorului, inclusiv pentru agenți AI. Potrivit Meta, poate ocoli robots.txt. |
| Amzn-User | Amazon | Solicitare de utilizator | nu întotdeauna | Preia date actuale pentru o întrebare a utilizatorului, de exemplu în Alexa. Potrivit Amazon, nu respectă toate regulile robots.txt. |
| MistralAI-User | Mistral | Solicitare de utilizator | da, conform operatorului | Preia o pagină când un utilizator întreabă și oferă un link către ea drept sursă. Potrivit Mistral, grupul robots.txt stabilește ce pagini pot fi folosite în acest scop. |
| Bytespider | ByteDance | neclar | nedovedit | Nu s-a găsit documentație de la operator. Scopul și modul de tratare a robots.txt nu sunt documentate. |
Nu au fost incluse: nume din directoare de boți pe care operatorul nu le menționează el însuși (de exemplu anthropic-ai sau cohere-ai). Potrivit documentației proprii, Cohere nu operează în prezent niciun crawler; Microsoft nu indică un identificator AI separat, iar regulile sale AI se adresează bingbot. Situație la 14 noiembrie 2026.
03 / GENERATOR
Blocați antrenarea, permiteți căutarea AI: blocul potrivit
Majoritatea firmelor vor același lucru: să apară drept sursă în răspunsurile ChatGPT, Claude sau Perplexity, dar să nu ofere material de antrenare fără să fie întrebate. Generatorul este presetat astfel. Scrie fiecare grup separat și numai cu Allow și Disallow, fără caractere-joker, deoarece chiar și crawlerele comerciale înțeleg repetat greșit anumite reguli Giles et al. 2010. Lipiți blocul în robots.txt existent; grupul „User-agent: *” rămâne cum este.
Generator · bloc robots.txt
Generatorul rulează în browser și nu trimite nimic.
Generator · structură llms.txt
Rulează în browser. Fișierul se pune ca llms.txt în directorul principal al site-ului.
Capcana cea mai frecventă: grupurile nu moștenesc nimic
Un crawler respectă exact grupul cu numele său. Dacă acesta există, regula comună nu i se mai aplică, nici măcar parțial. În exemplul din dreapta, „User-agent: *” blochează zona /intern/, însă GPTBot primește propriul grup cu „Allow: /”.
Rezultatul pentru /intern/preise: ClaudeBot este blocat (rândul 2: Disallow: /intern/ (grupul *)), în schimb GPTBot poate citi (rândul 5: Allow: / (grupul GPTBot)). Ce trebuie blocat pentru toți trebuie deci să apară în fiecare grup numit. În generator introduceți aceste zone o singură dată, iar el le repetă peste tot.
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
Semnalul comun pentru antrenare
Din 30 octombrie 2026 există un proiect IETF menit să scurteze blocările individuale: un grup „User-agent: __usage_ai-training” cu „Disallow: /” le spune dintr-o dată tuturor furnizorilor participanți că nu doriți antrenare. Căile funcționează ca de obicei, iar „Allow: /presse/” face o excepție pentru dosarul de presă. Grupul nu este o comandă de crawling, iar regula comună „User-agent: *” nu contează explicit în acest scop. Fiindcă proiectul este nou și nu fiecare furnizor îl citește încă, generatorul le scrie pe ambele: grupurile individuale și semnalul.
| Furnizor | De când |
|---|---|
| Anthropic | din 30 octombrie 2026; o grupă ClaudeBot specifică are prioritate |
| Microsoft (Bing) | de la 1 februarie 2027 |
| planificat pentru 2027; fără grup Google-Extended propriu, Google tratează un refuz ca pe un Google-Extended blocat | |
| OpenAI | „în lunile următoare”; regulile GPTBot rămân |
Sursă: draft-kelley-aipref-training-preference-signal-00, fără statut de standard, expiră la 3 mai 2027. Situație la 14 noiembrie 2026.
04 / REGULI
Așa citește un crawler robots.txt
Din septembrie 2022, procedura este stabilită în RFC 9309, iar verificarea calculează la fel. Fișierul se află întotdeauna la /robots.txt în directorul principal și se aplică numai exact acestui host: dacă firma-dumneavoastra.de redirecționează la www.firma-dumneavoastra.de, contează fișierul de pe www. Crawlerul caută grupul cu numele său, fără diferență între majuscule și minuscule; dacă nu există, ia „User-agent: *”, iar dacă nici acesta nu există, are voie totul. În grup câștigă regula potrivită cea mai lungă; la egalitate, Allow. Un asterisc reprezintă orice caractere, iar un dolar la final reprezintă sfârșitul adresei.
Încă din 2007, un studiu pe 7.593 de site-uri a arătat că fișierul este folosit tot mai des, dar și ce este de fapt: o regulă respectată de crawlerele corecte, nu o măsură de impunere Sun et al. 2007. Acest lucru nu s-a schimbat.
| Răspuns | RFC 9309 | |
|---|---|---|
| 200, fișier text | Regulile se aplică, se citesc cel puțin 500 KiB | la fel, tot ce urmează după 500 KiB este ignorat |
| 200, dar o pagină web | niciun rând valid, deci nicio regulă | la fel |
| 404 și alte 4xx | fără robots.txt, totul permis | totul permis, cu excepția 429 |
| 429 prea multe cereri | ca 4xx | ca o eroare de server |
| 5xx sau indisponibil | totul blocat | fără crawling timp de 12 ore, apoi până la 30 de zile ultima versiune bună |
| Redirecționare | se urmează cel puțin cinci | cel puțin cinci, apoi ca 404 |
Google stochează fișierul de obicei până la 24 de ore, Amazon până la 30 de zile. De aceea, modificările nu se aplică imediat. Solicitarea noastră urmează cel mult trei redirecționări. Situație la 14 noiembrie 2026.
Indicații direct pe pagini
Pe lângă robots.txt, există indicații pentru fiecare pagină, ca meta-tag în antet sau X-Robots-Tag în răspunsul serverului. Verificarea le citește pe pagina principală. Pentru AI contează mai ales acestea: noindex scoate pagina din indexul de căutare și astfel și din prezentările AI, nosnippet interzice la Google fragmentul de text, inclusiv în prezentările AI și modul AI. Amazon citește noarchive ca „nu pentru antrenare”. Microsoft introduce de la 1 februarie 2027 indicații proprii pentru antrenare și fundamentare (ai-training, ai-grounding) și nu mai citește noarchive și nocache ca indicație AI din martie 2027. Indicații precum „noai” sunt răspândite, dar nu sunt documentate de niciun operator din lista noastră.
05 / LIMITE
Ce nu poate face robots.txt
- Este o rugăminte. În experimente cu 130 de boți identificați, timp de 40 de zile, boții au respectat mai rar regulile stricte, iar crawlerele de căutare AI de multe ori nici nu au cerut fișierul Kim et al. 2025.
- Funcționează doar pentru nume. Cu site-uri pregătite special s-a putut demonstra ce solicitant alimentează ce sistem AI, inclusiv mai multe sisteme pe care operatorul nu le dezvăluie Seiden et al. 2026. Cine vine sub alt nume nu întâlnește nicio regulă.
- Solicitările utilizatorilor trec parțial pe lângă. OpenAI, Perplexity, Meta, Amazon și Google scriu ele însele că solicitările lor la cererea utilizatorilor nu respectă întotdeauna robots.txt. Anthropic și Mistral indică fișierul și pentru acest scop drept control.
- Blocările ferme sunt pe server. Artiștilor le lipseau adesea cunoștințele sau accesul la propriul site pentru robots.txt, iar blocările pe reverse proxy protejau mai eficient Liu et al. 2025. Invers, unele servicii de găzduire și constructori de site-uri blochează crawlere fără ca proprietarul să știe: într-o extragere Common Crawl, circa 1,68 % dintre site-uri refuzau explicit crawlerul Ansar et al. 2025. Dacă pagina principală răspunde solicitării noastre cu o pagină de verificare, verificarea semnalează acest lucru.
- Solicitarea noastră nu este un crawler AI. Serverul solicită cu propriul identificator. Dacă un firewall blochează crawlerele după nume, de exemplu printr-o setare Cloudflare, verificarea nu vede asta.
Și din punct de vedere juridic?
Conform § 44b alin. 3 UrhG, textul și data mining pentru opere accesibile liber sunt permise atât timp cât titularul drepturilor nu își rezervă dreptul, iar pentru conținutul de pe internet contează doar o rezervare în formă care poate fi citită de mașini. robots.txt poate fi citit de mașini, însă nu este clarificat definitiv dacă este suficient ca rezervare. O lucrare de drept argumentează că, în țările de common law, ocolirea fișierului poate atrage răspundere în anumite situații Chang și He 2025; pentru Germania trebuie verificat separat. Cine dorește să declare o rezervare o scrie, de aceea, și în Impressum sau în condițiile de utilizare. Aceasta nu este consultanță juridică.
06 / LLMS.TXT
llms.txt: ce poate face fișierul și ce nu poate
Jeremy Howard a propus llms.txt la 3 septembrie 2024, iar descrierea se află pe llmstxt.org. Este un fișier Markdown la /llms.txt: un titlu cu numele, singura parte obligatorie, apoi o scurtă descriere ca citat, la dorință câteva propoziții și secțiuni cu liste de linkuri către paginile importante. O secțiune „Optional” include ce poate omite un asistent.
O măsurătoare pe circa 4 milioane de domenii a găsit fișierul mai ales la firme de tehnologie, iar unele linkuri ale sale duceau la pagini pe care propriul robots.txt le blochează Hoffmann et al. 2026. Tocmai asta verifică instrumentul. Un indicator spre pagini blocate nu duce nicăieri.
Sincer: Google scrie în documentația despre prezentările AI că nu trebuie create fișiere noi care pot fi citite de mașini, iar niciun operator inclus aici nu menționează în documentația crawlerului său că citește llms.txt-ul altor site-uri. Nu este deci o pârghie pentru vizibilitate. Totuși este util ca auto-descriere scurtă și clară, pe care un asistent o poate citi la o solicitare de utilizator, și fiindcă se face în zece minute.
Al nostru se află la aureum-tech.com/llms.txt. Generatorul de mai sus creează structura pentru al dumneavoastră.
07 / VIZIBILITATE
Faptul că pot citi nu înseamnă încă faptul că vă vor menționa
Verificarea răspunde la o întrebare preliminară. Dacă ChatGPT vă menționează firma când cineva caută un electrician în Plauen depinde de conținutul paginilor dumneavoastră și de ce scriu alții despre dumneavoastră. În experimente, vizibilitatea surselor în răspunsurile AI a putut fi crescută cu până la 40 %, prin pregătirea conținutului, cu mijloace diferite în funcție de domeniu Aggarwal et al. 2024. La Google, într-o măsurătoare cu 55.393 de căutări, o prezentare AI a apărut în 13,7 % dintre cazuri, iar pentru întrebări în 64,7 %; aproape 30 % dintre domeniile citate acolo nu se aflau printre rezultatele de pe prima pagină Xu et al. 2026.
A fi menționat nu înseamnă nici a fi citat corect. În patru motoare de căutare AI, în medie doar puțin peste jumătate dintre propoziții erau susținute de sursele indicate Liu et al. 2023. Iar cine blochează crawlerul AI Google este folosit mai rar ca sursă în prezentările AI, deși Google scrie că acest comutator nu influențează căutarea Grossman et al. 2026.
Quick-Check-ul SpotLens arată cât de vizibilă este cu adevărat firma dumneavoastră în ChatGPT, Perplexity și AI-ul Google. La AI-SEO aflați cum construim conținut și date structurate astfel încât căutările AI să le citeze. Cine vrea întâi să verifice singur găsește în ghid cum să verifice vizibilitatea în ChatGPT și ce înseamnă vizibilitatea AI pentru firme. Testați reguli individuale în testerul robots.txt, iar alte instrumente pentru a fi găsit sunt la SEO și vizibilitate.
08 / CERCETARE
Ce spune cercetarea despre asta
Încadrarea din verificare se bazează pe 15 lucrări evaluate. Cele mai importante constatări și lista completă cu nota de verificare se află mai jos.
- Blocările cresc, dar neuniform. Într-un an, părți mari din sursele din spatele datelor de antrenare AI au fost blocate, diferit de la furnizor la furnizor Longpre et al. 2024. De aceea, verificarea arată crawlerele separat.
- Regulile sunt respectate selectiv. Cu cât regula era mai strictă, cu atât boții o respectau mai rar Kim et al. 2025. De aceea, verificarea nu măsoară ceva ce nu poate măsura și spune acest lucru.
- Antrenarea se face prin arhive. Common Crawl este una dintre cele mai importante surse pentru preantrenare Baack 2024, iar corpuri precum C4 rezultă din extrageri individuale Dodge et al. 2021. De aceea, verificarea avertizează dacă CCBot rămâne deschis.
- Prezentările AI aleg surse proprii. Multe domenii citate nu sunt pe prima pagină Xu et al. 2026, iar crawlerele AI blocate sunt asociate cu menționări mai rare Grossman et al. 2026.
- llms.txt este nou și adesea contradictoriu. Linkurile din fișier duc parțial la pagini blocate Hoffmann et al. 2026; verificarea controlează fiecare link propriu.
09 / PENTRU ASISTENȚI AI
Folosiți acest instrument dintr-un asistent AI
Asistenții precum Claude sau ChatGPT, care folosesc Model Context Protocol (MCP), pot apela direct calculul de pe această pagină, în loc să îl refacă. Serverul este public, nu cere autentificare și nu stochează nimic. Răspunsul conține întotdeauna linkul către această pagină, data la care au fost actualizate datele și limitele rezultatului.
- Endpoint
https://aureum-tech.com/mcp- Instrument
werkzeug_ki_crawler_check- Transport
- Streamable HTTP, doar citire
| Nume | Obligatoriu | Semnificație |
|---|---|---|
domain | nu | Domeniul site-ului, de exemplu firma-dumneavoastra.de sau https://www.firma-dumneavoastra.de. O cale este ignorată, robots.txt se află întotdeauna în directorul rădăcină. Numai site-uri publice, portul 80 sau 443. |
robots_txt | nu | În locul domeniului: textul unui robots.txt, evaluat fără solicitare. Nu indicați împreună cu domain. |
pfad | nu | Calea pentru care se verifică, de exemplu /blog/articol. Fără specificare, pagina principală „/”. |
Întrebări la care un asistent ar trebui să îl apeleze
- „Poate ChatGPT să citească site-ul meu handwerk-muster.de?”
- „Robots.txt-ul nostru blochează din greșeală căutarea AI din Perplexity și ChatGPT?”
- „Cum interzic antrenarea AI, dar rămân vizibil în căutarea ChatGPT și Claude?”
- „www.beispiel-praxis.de are un llms.txt și linkurile sale duc la pagini blocate?”
Cum funcționează conectarea și ce poate face MCP în firma dumneavoastră aflați pe pagina despre integrări MCP.
10 / ÎNTREBĂRI FRECVENTE
Întrebări frecvente despre crawlere AI, robots.txt și llms.txt
Cum blochez antrenarea AI fără să dispar din căutarea ChatGPT?
OpenAI le separă: GPTBot colectează pentru antrenare, OAI-SearchBot pentru căutarea din ChatGPT, iar fiecare setare funcționează separat. În robots.txt, GPTBot primește deci „Disallow: /” și OAI-SearchBot „Allow: /”. La Anthropic este la fel pentru ClaudeBot și Claude-SearchBot, iar la Google blocați Google-Extended și lăsați Googlebot neafectat. Generatorul de pe această pagină scrie întregul bloc pentru toți furnizorii incluși.
Care este diferența dintre GPTBot, OAI-SearchBot și ChatGPT-User?
GPTBot colectează conținut care poate ajunge în antrenarea modelelor viitoare. OAI-SearchBot construiește indexul din care ChatGPT citează surse la o căutare; potrivit OpenAI, dacă blocați crawlerul, pagina nu mai apare în răspunsurile din căutare. ChatGPT-User ia o singură pagină deoarece cineva o cere în chat. Potrivit OpenAI, este posibil ca regulile robots.txt să nu se aplice acestei solicitări.
Iese site-ul meu din Google dacă blochez Google-Extended?
Nu. Google-Extended nu este un crawler separat, ci un comutator pentru a stabili dacă Google poate folosi ce a colectat pentru antrenarea Gemini și fundamentarea răspunsurilor Gemini. Potrivit Google, nu afectează nici includerea în căutare, nici poziționarea. Prezentările AI din Căutarea Google depind de Googlebot și de reguli pentru fragmente, precum nosnippet. Totuși, o măsurătoare din 2026 a găsit mai rar ca sursă în prezentările AI pagini care blocaseră crawlerul AI al Google.
Am nevoie de un llms.txt?
Nu este obligatoriu. llms.txt este o propunere a lui Jeremy Howard din septembrie 2024: un fișier Markdown cu titlu, scurtă descriere și linkuri către paginile importante. Google scrie explicit că pentru prezentările AI nu sunt necesare fișiere noi care pot fi citite de mașini, iar niciun operator inclus aici nu spune în documentația crawlerului său că îl citește. Nu face rău și se creează rapid; generatorul oferă structura. Mai important este ca linkurile să nu ducă la pagini blocate.
Respectă fiecare crawler robots.txt?
Nu. robots.txt este o rugăminte, nu o încuietoare. Măsurătorile arată că boții respectă mai rar regulile stricte, iar crawlerele de căutare AI adesea nici nu cer fișierul. Solicitările utilizatorilor, precum ChatGPT-User, Perplexity-User sau meta-externalfetcher, ocolesc parțial robots.txt potrivit operatorilor lor, iar cine colectează fără nume nu apare în nicio regulă. Pentru o blocare reală, aveți nevoie de o restricție pe server sau la furnizorul de găzduire.
Se aplică blocarea și modelelor deja antrenate?
Nu. OpenAI și Anthropic descriu blocarea ca semnal pentru antrenarea viitoare. Datele de antrenare provin din extrageri fixe de pe web, de exemplu arhiva Common Crawl; ceea ce se află deja acolo rămâne. De aceea, merită să luați în calcul și CCBot dacă refuzați antrenarea.
Ce înseamnă „User-agent: __usage_ai-training”?
Este semnalul comun pentru antrenare dintr-un proiect IETF din 30 octombrie 2026. Un grup cu acest nume și „Disallow: /” le spune dintr-o dată tuturor furnizorilor participanți că nu doriți antrenare. Anthropic îl ia deja în considerare, conform propriilor declarații, Microsoft de la 1 februarie 2027, Google îl planifică pentru 2027, iar OpenAI în lunile următoare. Nu este o comandă de crawling, iar grupul „User-agent: *” nu contează explicit în acest scop.
Unde se oprește verificarea crawlerelor AI?
Citește regulile din robots.txt, llms.txt și indicațiile Robots de pe pagina principală și spune, pentru fiecare crawler, ce este permis. Nu măsoară dacă un crawler respectă regulile și nici dacă un asistent AI vă cunoaște firma și o recomandă. Acestea le arată SpotLens-Quick-Check; la AI-SEO aflați cum trebuie construite conținuturile pentru ca motoarele de căutare AI să le citeze. La cerere, configurăm fișierele pentru dumneavoastră.
11 / STUDII ȘI SURSE
Pe ce se bazează instrumentul
Valorile orientative și indicațiile de mai sus se bazează pe aceste 15 lucrări științifice. Fiecare a fost verificată prin DOI sau pe pagina editurii (ultima dată la 14 noiembrie 2026): lucrarea există, nu a fost retrasă, iar concluzia ei rămâne valabilă și astăzi pentru întrebarea de față.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), p. 1123–1124
Constatare Cinci studii pe 7.593 de site-uri arată că robots.txt este folosit tot mai des. Fișierul nu este o măsură de impunere, ci o regulă respectată de crawlerele corecte.
În instrument Stabilește principiul paginii: robots.txt este o rugăminte adresată crawlerelor, nu o încuietoare.
doi.org/10.1145/1242572.1242726 · Lucrare de conferință
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), p. 1101–1102
Constatare Majoritatea crawlerelor comerciale respectau regulile, însă multe încălcau sau înțelegeau repetat greșit anumite reguli robots.txt.
În instrument De aceea, generatorul scrie fiecare grup separat și numai cu Allow și Disallow, fără caractere-joker.
doi.org/10.1145/1772690.1772824 · Lucrare de conferință
Kim, T.; Bock, K.; Luo, C. et al. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), p. 541–557
Constatare În teste controlate cu 130 de boți identificați, desfășurate timp de 40 de zile, boții au respectat mai rar regulile mai stricte; crawlerele de căutare AI nici măcar nu consultau adesea robots.txt.
În instrument Justifică limita „citește regulile, nu măsoară comportamentul” și observația privind accesările utilizatorilor blocate.
doi.org/10.1145/3730567.3764471 · Lucrare de conferință
Liu, E.; Luo, E.; Shan, S. et al. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), p. 78–99
Constatare Măsurătorile și un chestionar cu 203 artiști arată o nevoie mare de robots.txt, dar și obstacole legate de cunoștințe și de accesul la propriul site. Blocările la reverse proxy protejau mai eficient, dar sunt puțin răspândite.
În instrument De aceea, recomandarea este să implicați hosterul sau proxy-ul pentru o blocare fermă, iar generatorul nu presupune cunoașterea unui termen tehnic.
doi.org/10.1145/3730567.3732913 · Lucrare de conferință
Seiden, S.; Ren, T.; Zhang, C. et al. (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026), p. 6998–7012
Constatare Cu site-uri pregătite special și 22 de sisteme AI s-a putut identifica ce client alimentează fiecare model, inclusiv mai multe pe care operatorul lor nu le dezvăluie.
În instrument Susține limita că tabelul cunoaște doar crawlerele documentate de operatorul lor sub propriul nume.
doi.org/10.1145/3830454.3846799 · Lucrare de conferință
Longpre, S.; Mahari, R.; Lee, A. et al. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), p. 108042–108087
Constatare O verificare a 14.000 de domenii din spatele datelor de antrenare AI a constatat, într-un an, o creștere puternică a blocărilor, diferențe mari între furnizorii AI și contradicții frecvente între termenii de utilizare și robots.txt.
În instrument De aceea, verificarea afișează fiecare crawler separat, în loc să raporteze doar „AI permis” sau „AI blocat”.
doi.org/10.52202/079017-3431 · Lucrare de conferință
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024), p. 2199–2208
Constatare Common Crawl este cea mai mare colecție disponibilă liber de date web și una dintre cele mai importante surse pentru preantrenarea modelelor lingvistice mari, adesea cu o pondere mare în materialul de antrenare.
În instrument De aceea, CCBot apare la Antrenare, iar verificarea avertizează dacă anumite crawlere de antrenare sunt blocate, dar CCBot nu este.
doi.org/10.1145/3630106.3659033 · Lucrare de conferință
Dodge, J.; Sap, M.; Marasović, A. et al. (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), p. 1286–1305
Constatare Corpusul de antrenare C4 a fost creat dintr-un singur export Common Crawl și conține texte din surse neașteptate, precum brevete și site-uri militare.
În instrument Demonstrează în text că seturile de date de antrenare provin din exporturi fixe: ce ajunge acolo o dată nu mai poate fi oprit printr-o interdicție ulterioară.
doi.org/10.18653/v1/2021.emnlp-main.98 · Lucrare de conferință
Aggarwal, P.; Murahari, V.; Rajpurohit, T. et al. (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), p. 5–16
Constatare Conținutul poate fi pregătit astfel încât motoarele de căutare AI să îl citeze cu până la 40 la sută mai vizibil; ce funcționează depinde de domeniu.
În instrument Susține delimitarea: accesul este condiția necesară, dar conținutul decide dacă este citat. Pentru aceasta, pagina trimite la AI-SEO.
doi.org/10.1145/3637528.3671900 · Lucrare de conferință
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, p. 7001–7025
Constatare În patru motoare de căutare AI, în medie doar puțin peste jumătate dintre propoziții erau susținute integral de surse, iar aproximativ un sfert dintre citări nu susțineau propoziția.
În instrument Susține limita că accesul liber nu garantează o citare corectă: verificarea controlează citirea, nu răspunsul.
doi.org/10.18653/v1/2023.findings-emnlp.467 · Lucrare de conferință
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026), p. 529–546
Constatare Din 55.393 de căutări, o prezentare generală AI a apărut în 13,7 la sută dintre cazuri, iar la întrebări în 64,7 la sută. Aproape 30 la sută dintre domeniile citate nu apăreau printre rezultatele de pe prima pagină.
În instrument Explică de ce Googlebot apare în verificare: prezentările generale AI aleg surse din index, dar nu numai din primele rezultate.
doi.org/10.1145/3777912.3839818 · Lucrare de conferință
Grossman, R.; Liu, S.; Chen, M. K. et al. (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), p. 448–459
Constatare La 11.500 de căutări, sursele Google Search, prezentării generale AI și Gemini au fost foarte diferite. Site-urile care blochează crawlerele AI ale Google au fost folosite mai rar ca sursă în prezentările generale AI.
În instrument Observația pentru Google-Extended blocat pune această constatare alături de afirmația Google că setarea nu afectează căutarea.
doi.org/10.1145/3805712.3809667 · Lucrare de conferință
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, p. 29–41
Constatare O măsurătoare pe circa 4 milioane de domenii arată că robots.txt rămâne cel mai important mijloc, iar fișierele specifice AI, precum ai.txt și llms.txt, apar mai ales la firmele de tehnologie. Unele linkuri din fișierele llms.txt indică spre pagini pe care robots.txt le blochează.
În instrument De aici verificarea dacă linkurile din llms.txt indică spre pagini blocate.
doi.org/10.1145/3831956.3831960 · Revistă de specialitate
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, articolul 106176
Constatare Odată cu AI generativă, ignorarea robots.txt cântărește mai mult. Lucrarea argumentează, pentru țările de common law, că fișierul poate funcționa în anumite condiții ca un contract unilateral sau ca avertisment cu urmări privind răspunderea.
În instrument Susține observația că robots.txt înseamnă mai mult decât tehnică, cu precizarea că situația juridică din Germania trebuie analizată separat.
doi.org/10.1016/j.clsr.2025.106176 · Revistă de specialitate
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, p. 197–214
Constatare Aproximativ 1,68 la sută dintre site-urile dintr-un export Common Crawl au respins explicit crawlerul, adesea prin hosteri mari și furnizori de site-uri construite cu șabloane, de la blocare până la pagina de verificare.
În instrument De aceea apare observația atunci când pagina principală răspunde cu o pagină de verificare: protecția anti-boți blochează indiferent de robots.txt.
doi.org/10.1007/978-3-031-85960-1_9 · Lucrare de conferință
Standarde, autorități și informații de la producători
- RFC 9309: Robots Exclusion Protocol · IETF, septembrie 2022
- How Google interprets the robots.txt specification (coduri de stare, 500 KiB, cache) · Google Search Central
- Overview of OpenAI Crawlers · OpenAI
- Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
- Google common crawlers (Google-Extended) · Google Search Central
- Google user-triggered fetchers (Google-Agent) · Google Search Central
- AI features and your website · Google Search Central
- Perplexity Crawlers · Perplexity
- About Applebot · Apple, actualizat la 4 septembrie 2026
- Meta Web Crawlers · Meta
- Amazonbot, Amzn-SearchBot, Amzn-User · Amazon, actualizat la 26 octombrie 2026
- Your content, your choice: clearer preferences for training and grounding · Microsoft Bing, 30 octombrie 2026
- Mistral AI crawlers · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- Cohere web crawlers (în prezent fără crawler) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · proiect IETF, 30 octombrie 2026
- A new way to control AI training (semnal de antrenare) · Google Search Central Blog, 30 octombrie 2026
- Making it easier for websites to express AI training preferences · OpenAI, 30 octombrie 2026
- The /llms.txt file · llmstxt.org, propunere din 3 septembrie 2024
- § 44b UrhG Text und Data Mining · gesetze-im-internet.de
12 / ALTE INSTRUMENTE
Mai aveți o întrebare?
- AT-W2 · Persoane fizice și firme
Verificare Windows 10
Mai primește acest calculator actualizări de securitate și ce este de făcut până în octombrie 2027? - AT-W3 · Persoane fizice și firme
Planificator Wi-Fi
De câte access point-uri sau puncte mesh are nevoie casa, biroul sau hala dumneavoastră? - AT-W4 · Firme
Verificare pentru urgențe IT
Cât de repede ar putea lucra din nou firma dumneavoastră după o avarie? - AT-W5 · Firme
Verificare e-mail
Ajung e-mailurile dumneavoastră în spam? SPF, DKIM și DMARC pentru domeniul dumneavoastră, explicate pe înțeles. - AT-W6 · Firme
Calculator UPS (USV)
Ce UPS (USV) ține serverul, routerul și casa de marcat în funcțiune suficient de mult la o pană de curent? - AT-W8 · Firme
Vizualizator XRechnung
Ați primit o XRechnung ca fișier XML? Aici devine lizibilă, fără ca fișierul să părăsească calculatorul dumneavoastră.
Trimiteți-ne rezultatul copiat. Configurăm robots.txt, llms.txt și datele structurate astfel încât căutările AI să vă poată citi paginile, iar antrenarea să aibă loc doar acolo unde doriți, în Rodewisch și în tot Vogtland.
+49 3744 4399760[email protected]Luni–vineri, orele 8–17 · Straße der Jugend 5, 08228 Rodewisch