Instrument AT-W48REV. 2026-A

Tester robots.txt: Are Googlebot voie să citească această pagină?

O singură linie din robots.txt decide dacă Googlebot are voie să acceseze o pagină: cea mai lungă regulă care se potrivește, din grupul aplicabil acestui crawler. Lipiți conținutul fișierului și introduceți căi sau adrese complete. Testerul arată pentru Googlebot, Bingbot, GPTBot și alte crawlere dacă accesul la o cale este permis sau blocat și ce linie decide acest lucru. Totodată, semnalează ceea ce Google interpretează diferit față de standard.

  • gratuit
  • fără înregistrare
  • Textul rămâne în browser

Introduceți robots.txt și verificați fiecare cale

Tester · robots.txt conform RFC 9309

Evaluarea se face conform RFC 9309, ținând cont de particularitățile documentate ale fiecărui crawler. Operatorul crawlerului decide dacă acesta respectă regulile.

Deschideți ihre-firma.de/robots.txt în browser și copiați întregul text. Fișierul poate fi preluat cu instrumentul de verificare a crawlerelor AI.

Până la 50. La adrese complete se iau în calcul calea și parametrii, de exemplu /shop?sort=preis.

Pentru ce crawlere?
Motoare de căutare · 6
Alte crawlere Google · 3
Crawlere AI · 24

Numele pe care operatorul îl indică pentru robots.txt (tokenul produsului), nu identificatorul complet al browserului.

Testerul calculează în browser. Textul și adresele nu părăsesc dispozitivul dumneavoastră.

Rezultat

Lipiți robots.txt și introduceți căile. Există un exemplu pentru a încerca.

Așa decide un crawler dacă accesează o pagină

Din septembrie 2022, procedura este stabilită în RFC 9309; înainte era o înțelegere din 1994, pe care crawlerele mari o respectau când mai exact, când mai puțin exact Sun et al. 2010. Testerul calculează conform RFC, în această ordine:

  1. Fișierul. Se află la /robots.txt în directorul principal și se aplică doar exact acestui host, cu protocol și port. Fișierul de pe ihre-firma.de nu se aplică la www.ihre-firma.de și nici la shop.ihre-firma.de.
  2. Grupul. Crawlerul caută grupul cu numele său, fără diferență între litere mari și mici. Mai multe grupuri cu același nume se reunesc. Dacă nu există unul, se aplică „User-agent: *”, iar dacă lipsește și acesta, este permis totul.
  3. Regula. În grup, câștigă cea mai lungă linie Allow sau Disallow care se potrivește cu începutul căii. La aceeași lungime câștigă Allow. Ordinea liniilor nu contează.
  4. Caracterele. O steluță reprezintă oricâte caractere, iar un dolar la final reprezintă finalul adresei. Literele mari și mici din cale contează. Crawlerul compară diacriticele în codare procentuală, deci „/über” și „/%C3%BCber” sunt același lucru.
  5. Excepția. Oricine poate accesa robots.txt, iar liniile Sitemap se aplică independent de grupuri.
CE GRUP SE APLICĂ?CRAWLER/robots.txtPROPRIUGRUPĂALTFEL GRUP*ALTFEL TOTULPERMISCE REGULĂ SE APLICĂ?CALEREGULI POTRIVITECEA MAI LUNGĂCÂȘTIGĂ, LA EGALITATECA LUNGIME: ALLOWPERMIS SAUBLOCATĂCE GRUP SE APLICĂ?CRAWLER/robots.txtGRUP PROPRIUALTFEL GRUPUL *ALTFEL TOTUL ESTE PERMISCE REGULĂ SE APLICĂ?CALEREGULI POTRIVITECEA MAI LUNGĂ CÂȘTIGĂ, LA EGALITATECA LUNGIME: ALLOWPERMIS SAU BLOCAT
FIG. 1 · CUM CITEȘTE UN CRAWLER ROBOTS.TXTAURIU = FIȘIERUL DUMNEAVOASTRĂ · DOUĂ ÎNTREBĂRI CARE SE REZOLVĂ PE RÂND

La ce se potrivește un model

Exemple calculate cu aceeași funcție ca testerul
Modelse potrivește cunu se potrivește cu
/fisch/fisch, /fisch.html, /fischkopf/rezept/Fisch, /katalog/fisch
/fisch//fisch/, /fisch/?sorte=lachs/fisch, /fisch.html
/*.php/index.php, /ordner/seite.php?id=1/, /seite.PHP
/*.php$/seite.php/seite.php?id=1, /seite.php5
/*?s=/?s=preise, /blog/?s=test/blog/?seite=2

Comparația începe întotdeauna la începutul căii, de aceea /fisch nu se potrivește cu /katalog/fisch. Cine vrea să spună „oriunde” pune o steluță înainte.

Cea mai lungă regulă câștigă

În exemplu, grupul blochează magazinul, dar permite ofertele. Pentru /shop/angebote/herbst, testerul calculează: permis prin linia 3 „Allow: /shop/angebote/” din grupul „User-agent: *”. Cu 15 caractere, este cea mai lungă dintre 2 reguli potrivite. Pentru /shop/kasse, rezultatul este blocat, deoarece se potrivește doar regula mai scurtă.

Crawlerele comerciale au încălcat sau au interpretat greșit anumite reguli în mod repetat mult timp Giles et al. 2010. De la RFC, calculul este clar, dar nu fiecare crawler îl urmează. De aceea, testerul semnalează liniile pe care crawlerele le citesc diferit.

User-agent: *
Disallow: /shop/
Allow: /shop/angebote/

Capcana cea mai frecventă: grupurile nu moștenesc nimic

Dacă un crawler primește un grup propriu, grupul general nu i se mai aplică, nici măcar parțial. În exemplu, /intern/ trebuie blocat pentru toți, dar Googlebot primește un grup propriu pentru schițe. Rezultatul pentru /intern/preise: Bingbot este blocat, iar Googlebot are acces permis. Prin urmare, ce trebuie să se aplice tuturor trebuie pus în fiecare grup numit.

Grupurile numite sunt răspândite. Într-un studiu timpuriu cu 2.925 de fișiere robots.txt, motoarele de căutare mari primeau de cele mai multe ori mai mult acces prin grupuri proprii decât altele Sun et al. 2007b; un studiu ulterior cu circa 6 milioane de site-uri nu a găsit nicio preferință semnificativă Kolay et al. 2008. Fie intenționat, fie nu, testerul arată pentru fiecare crawler ales grupul care se aplică și, în ansamblu, pentru cine se aplică fiecare grup.

User-agent: *
Disallow: /intern/

User-agent: Googlebot
Disallow: /entwurf/

Unde citește Google robots.txt diferit față de standard

Google a contribuit la RFC și îl respectă în esență. În unele locuri, parserul Google este mai permisiv sau mai strict, iar documentația stabilește ce lasă RFC-ul deschis. Testerul calculează conform RFC și semnalează fiecare dintre aceste situații, ca să obțineți un fișier care are același efect pentru toate crawlerele.

Comparație între RFC 9309 și Google, documentația Google la data de 23 octombrie 2026
PunctRFC 9309Google
Mărimea fișieruluicitește cel puțin 500 KiBcel mult 500 KiB, restul este ignorat
Cachecel mult 24 de ore, cu excepția cazului în care fișierul nu este accesibilde obicei până la 24 de ore, mai mult dacă reîmprospătarea eșuează
Redirecționarese urmează cel puțin cincicel puțin cinci, apoi ca 404
404 și alte 4xxfără robots.txt, totul permisla fel, cu excepția 429
5xx sau indisponibiltotul blocat; după mai mult timp (de exemplu 30 de zile), ca și cum ar lipsi sau se folosește versiunea salvatăfără crawling timp de 12 ore, apoi până la 30 de zile ultima versiune bună (fără aceasta, fără restricție), după aceea ca fără fișier, dacă site-ul este altfel accesibil
Instrucțiuniuser-agent, allow, disallow; un crawler poate interpreta alte linii, de exemplu sitemapdoar user-agent, allow, disallow și sitemap; noindex, nofollow și crawl-delay nu mai au efect din 1 septembrie 2019
Greșeli de scriere, lipsă două punctelinia nu conteazăparserul Google citește totuși unele greșeli, precum „Disalow”, și linii fără două puncte
Nume cu sufixnumele constau doar din litere, - și _„googlebot/1.2” și „googlebot*” sunt considerate „googlebot”
Diacritice, caractere specialecodare procentuală înainte de comparațiecompară în codare procentuală
Sitemappoate fi interpretat de un crawleradresă completă cu protocol și host, poate fi pe un alt host

Surse: RFC 9309, Google despre robots.txt (la data de 23 octombrie 2026), blogul Google din 2 iulie 2019, parserul Google. Verificat la 14 noiembrie 2026.

Alte motoare de căutare au particularități proprii. Bing respectă Crawl-delay și, fără grup propriu bingbot, citește un grup msnbot; Yandex nu mai evaluează Crawl-delay din 22 februarie 2018 și are, cu „User-agent: Yandex”, un grup pentru toți roboții săi. Crawlerul Apple urmează grupul Googlebot dacă nu are grup propriu, iar crawlerele publicitare Google ignoră complet grupul general. Tabelul de mai jos arată ce calculează testerul dintre acestea.

Ce nume trebuie introduse în robots.txt

În linia User-agent trebuie tokenul produsului, adică numele scurt indicat de operator pentru robots.txt: „Googlebot”, nu identificatorul complet care apare în jurnalul serverului. Lista din tester conține doar nume documentate de operatorii lor și calculează situații speciale doar acolo unde acestea sunt descrise.

Motoare de căutare și crawlere Google, verificate la 14 noiembrie 2026 în documentația operatorilor
Nume în robots.txtOperatorPentru ceParticularitate
GooglebotGoogleCăutare Google, inclusiv rezumate AIFără grup propriu se aplică „*”.
Googlebot-ImageGoogleGoogle ImagesFără grup propriu urmează grupul Googlebot.
bingbotMicrosoftBing și CopilotFără grup propriu urmează un grup msnbot, apoi „*”. Respectă Crawl-delay.
ApplebotAppleSiri, Spotlight, SafariFără grup propriu urmează grupul Googlebot.
DuckDuckBotDuckDuckGoindexul propriu DuckDuckGoFără grup propriu se aplică „*”.
YandexBotYandexCăutare YandexFără grup propriu urmează grupul Yandex. Crawl-delay nu mai are efect din februarie 2018.
Storebot-GoogleGoogleGoogle ShoppingGoogle nu documentează un grup de rezervă; testerul calculează conform RFC 9309 cu „*”.
AdsBot-GoogleGoogleVerifică paginile de destinație Google AdsIgnoră grupul „*”. Poate fi blocat doar cu un grup propriu.
Mediapartners-GoogleGoogleAdSense și Ad ManagerIgnoră grupul „*”. Poate fi blocat doar cu un grup propriu.

La acestea se adaugă 24 de identificatori de la furnizori AI, inclusiv GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User. Din 2023, site-urile blochează furnizorii AI tot mai mult și în moduri foarte diferite, iar termenii de utilizare și robots.txt se contrazic frecvent Longpre et al. 2024. O măsurătoare pe circa 4 milioane de domenii arată că robots.txt rămâne principalul mijloc, iar agenții AI sunt limitați acolo de obicei prin Disallow Hoffmann et al. 2026. Pentru ce citește fiecare crawler AI vedeți în Verificarea crawlerelor AI; aceasta poate prelua direct și robots.txt-ul dumneavoastră real.

Creați un fișier robots.txt pentru cazurile obișnuite

Cine are nevoie de un robots.txt rareori vrea să învețe termeni tehnici. Într-un sondaj cu 203 artiști, dorința de a avea fișierul era mare, dar cunoștințele despre el și accesul la propriul site lipseau adesea Liu et al. 2025. De aceea, generatorul întreabă doar ce trebuie să citească crawlerele și scrie linii Allow și Disallow simple, fără artificii. Cu „Verificați în tester”, textul ajunge sus în tester.

Generator · robots.txt pentru cazuri obișnuite

robots.txt reglementează doar crawlingul. Nu protejează datele, deoarece oricine îl poate citi, și nu scoate nicio pagină din indexul Google: o adresă blocată poate apărea fără descriere în rezultate dacă alte pagini trimit către ea.

Ce au voie crawlerele să citească?
Ce zone blocați?

Cu bară oblică la final, regula blochează numai directorul. Fără ea, /intern se potrivește și cu /internes-handbuch.

Câte două linii pentru fiecare nume, pentru ?name= și &name=. Astfel „sort” nu se potrivește și cu „resort”.

Cu https:// și domeniu, altfel linia este omisă.

# robots.txt, erstellt mit dem robots.txt-Tester von aureum-tech.com (Stand 14. November 2026)
# Regelt nur das Crawlen. Schützt keine Daten und nimmt keine Seite aus dem Google-Index.
User-agent: *
Disallow:

Generatorul rulează în browser și nu trimite nimic. Fișierul trebuie pus ca robots.txt în directorul principal, câte unul separat pentru fiecare subdomeniu.

Linia Sitemap merită aproape întotdeauna. Urmărirea linkurilor și sitemapul se completează: la Google, pe miliarde de adrese, paginile fără linkuri de intrare și conținutul nou au fost observate mai repede prin sitemap Schonfeld și Shivakumar 2009. Linia are nevoie de adresa completă și se aplică tuturor grupurilor.

Ce nu poate face robots.txt

  • Nu scoate nimic din index. Potrivit Google, robots.txt nu este un mijloc de a ține o pagină departe de Google. O adresă blocată spre care trimit alte pagini poate apărea fără descriere în rezultate. Este eliminată cu noindex, iar Google îl vede doar dacă are voie să citească pagina.
  • Nu protejează nimic. Fișierul este public și enumeră căile blocate; RFC-ul spune explicit că nu înlocuiește protecția accesului. Dacă un crawler îl respectă este o chestiune de decizie a operatorului său Thelwall și Stuart 2006. Informațiile confidențiale trebuie puse în spatele unei parole.
  • Este o solicitare. Primele studii mari descriau deja fișierul ca pe o regulă respectată de crawlerele corecte, nu ca pe o măsură de impunere Sun et al. 2007a. În experimente cu 130 de boți identificați, timp de 40 de zile, boții au respectat mai rar reguli mai stricte, iar crawlerele de căutare AI nici măcar nu solicitau deseori fișierul Kim et al. 2025.
  • Funcționează doar cu nume. Boții nu pot fi identificați sigur; niciuna dintre metodele obișnuite nu funcționează în mod fiabil în general Doran și Gokhale 2011. Cine vine sub un alt nume nu este atins de nicio regulă.
  • Blocările ferme sunt pe server. Împotriva crawlerelor AI, blocările la reverse proxy au protejat mai eficient decât robots.txt Liu et al. 2025. Invers, unii hosteri și constructori de site-uri resping crawlerele înainte să conteze robots.txt: într-un extras Common Crawl, era cazul pentru circa 1,68% dintre site-uri Ansar et al. 2025. Atunci nici cea mai bună linie Allow nu ajută.
  • Testerul calculează cu textul dumneavoastră. Dacă serverul livrează exact acest fișier, cu status 200 și ca text, verifică Verificarea crawlerelor AI printr-o preluare reală.

Testerul răspunde la o întrebare preliminară. Dacă paginile dumneavoastră apar cu adevărat în Google și de ce nu apar dacă lipsesc, arată Quick-Check-ul SpotLens. Primii pași pentru verificare pe cont propriu sunt în ghidul Site negăsit în Google, iar cum facem site-urile ușor de găsit în Rodewisch și Vogtland este prezentat la SEO. Alte instrumente pentru vizibilitate găsiți la SEO și vizibilitate.

Folosiți acest instrument dintr-un asistent AI

Asistenții precum Claude sau ChatGPT, care folosesc Model Context Protocol (MCP), pot apela direct calculul de pe această pagină, în loc să îl refacă. Serverul este public, nu cere autentificare și nu stochează nimic. Răspunsul conține întotdeauna linkul către această pagină, data la care au fost actualizate datele și limitele rezultatului.

Endpoint
https://aureum-tech.com/mcp
Instrument
werkzeug_robots_txt_tester
Transport
Streamable HTTP, doar citire
Date de intrare
NumeObligatoriuSemnificație
robots_txtdaTextul complet al robots.txt, așa cum se află la /robots.txt.
pfadenuPână la 50 de căi sau URL-uri complete, de exemplu „/kontakt” sau „https://www.firma.de/blog?seite=2”. Din URL-uri se iau în calcul calea și query-ul. Fără specificare: „/”.
crawlernuTokenurile produselor pentru crawlere, de exemplu Googlebot, bingbot, GPTBot; „*” pentru fiecare crawler fără grup propriu. Sunt cunoscute: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. Alte nume sunt verificate conform RFC 9309. Fără specificare: Googlebot, bingbot, GPTBot, ClaudeBot, *.

Întrebări la care un asistent ar trebui să îl apeleze

  • „Are Googlebot voie să acceseze /wp-admin/admin-ajax.php cu acest robots.txt?”
  • „De ce nu se aplică blocarea mea de la «User-agent: *» pentru GPTBot?”
  • „Ce linie din robots.txt-ul meu blochează https://www.firma.de/shop?sort=preis pentru Bingbot?”
  • „Este «Disalow: /intern/» o greșeală în robots.txt-ul meu și Google citește totuși linia?”

Cum funcționează conectarea și ce poate face MCP în firma dumneavoastră aflați pe pagina despre integrări MCP.

Întrebări frecvente despre robots.txt

Elimină „Disallow” o pagină din indexul Google?

Nu. Disallow interzice doar accesarea. Dacă alte pagini conțin linkuri către adresă, Google o poate include în continuare în rezultate, dar fără descriere. Pentru ca o pagină să dispară, Google trebuie să o poată citi și să găsească acolo un noindex în eticheta meta sau în X-Robots-Tag; alte variante sunt ca pagina să răspundă cu 404 sau 410 ori să fie protejată prin parolă. Blocarea accesului împreună cu noindex are efectul opus: Google nu vede niciodată noindex.

De ce blocarea din „User-agent: *” nu se aplică pentru Googlebot?

Pentru că există un grup separat pentru Googlebot. Un crawler respectă grupul care îi poartă numele și, doar dacă acesta nu există, grupul general „*”. De aceea, ceea ce este blocat acolo trebuie să apară și în fiecare grup cu nume explicit. Testerul arată pentru fiecare rezultat ce grup se aplică.

Ce are prioritate dacă Allow și Disallow se potrivesc aceleiași căi?

Regula mai lungă, măsurată în caractere. La lungimi egale, Allow are prioritate; ordinea din fișier nu contează. Astfel, cu „Disallow: /shop/” și „Allow: /shop/angebote/”, accesul la /shop/angebote/ rămâne permis, dar la restul magazinului nu.

Cât de repede intră în vigoare la Google o modificare a fișierului robots.txt?

Google păstrează de obicei fișierul până la 24 de ore, iar dacă actualizarea eșuează, chiar mai mult. Până atunci se aplică regulile vechi. De aceea, verificați mai întâi modificarea aici și abia apoi încărcați fișierul.

Pot proteja zonele confidențiale cu robots.txt?

Nu. Fișierul este public, oricine îl poate accesa și chiar dezvăluie căile blocate. Standardul precizează acest lucru: fișierul nu înlocuiește protecția accesului. Conținutul confidențial trebuie protejat prin autentificare sau printr-o parolă la nivelul serverului.

Ține Google cont de Crawl-delay sau Noindex în robots.txt?

Nu. Google citește doar user-agent, allow, disallow și sitemap. Noindex, nofollow și crawl-delay din robots.txt nu mai au efect la Google din 1 septembrie 2019. Bing respectă Crawl-delay, Yandex nu îl mai respectă din februarie 2018, iar Applebot nu îl respectă. Testerul marchează astfel de linii.

Unde se oprește testerul robots.txt?

Acesta analizează textul pe care îl introduceți, conform RFC 9309 și particularităților documentate ale crawlerelor. Instrumentul de verificare a crawlerelor AI verifică printr-o solicitare reală dacă serverul dumneavoastră livrează exact acest fișier. Quick-Check de la SpotLens arată dacă paginile dumneavoastră sunt în index și, dacă nu sunt, care este cauza. La cerere, remediem problemele care împiedică paginile să apară în Google.

Pe ce se bazează instrumentul

Valorile orientative și observațiile de mai sus se bazează pe aceste 13 lucrări științifice. Fiecare a fost verificată prin DOI-ul său, respectiv pe pagina editurii (ultima dată la 14 noiembrie 2026): există, nu a fost retrasă, iar concluzia sa este încă valabilă astăzi pentru această întrebare.

  1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), p. 1123–1124

    Constatare Cinci studii consecutive pe 7.593 de site-uri arată că robots.txt este utilizat tot mai des. Fișierul nu impune nimic; crawlerele corecte sunt cele care îl respectă.

    În instrument Este avertismentul de deasupra fiecărui rezultat: robots.txt este o solicitare, nu o încuietoare.

  2. Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), p. 149–155

    Constatare În 2.925 de fișiere robots.txt, crawlerele marilor motoare de căutare erau de obicei favorizate prin grupuri proprii, iar preferința era strâns legată de cota de piață.

    În instrument De aceea, testerul compară mai multe crawlere unul lângă altul și arată ce grup se aplică fiecăruia: diferențele apar prin grupurile numite.

  3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), p. 1171–1172

    Constatare Un studiu pe circa 6 milioane de site-uri nu a găsit, spre deosebire de studiul mai mic din 2007, nicio preferință semnificativă pentru un anumit motor de căutare.

    În instrument Explică în text că rezultatele privind preferința diferă în funcție de eșantion. De aceea, testerul nu judecă, ci arată grupul aplicabil pentru fiecare crawler.

  4. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), p. 1101–1102

    Constatare Majoritatea crawlerelor comerciale respectau regulile, însă multe încălcau sau înțelegeau repetat greșit anumite reguli robots.txt.

    În instrument De aceea, testerul semnalează liniile pe care crawlerele le citesc diferit, iar generatorul scrie doar linii Allow și Disallow simple.

  5. Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), p. 668–675

    Constatare Cu pagini-capcană care purtau fiecare câte o regulă robots.txt diferită, a fost măsurat comportamentul multor crawlere. Gradul în care le respectau diferea mult; multe crawlere comerciale încălcau regulat anumite reguli.

    În instrument Susține limita „regula nu este comportament”: numai jurnalul serverului, nu testerul, arată dacă un crawler respectă cu adevărat regula.

  6. Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), p. 1771–1779

    Constatare Lucrarea clasifică efectele crawlingului asupra operatorilor de site-uri după costuri, confidențialitate și suprasolicitare. Stabilirea caracterului justificat al unui crawl necesită o evaluare de la caz la caz din partea operatorului crawlerului.

    În instrument Explică de ce testerul recomandă protecția cu parolă, nu o linie Disallow, pentru zonele confidențiale.

  7. Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), p. 991–1000

    Constatare Comparația dintre urmărirea linkurilor și sitemapuri pe miliarde de adrese la Google arată că se completează bine: sitemapurile aduc mai repede în atenție paginile fără linkuri de intrare și conținutul nou.

    În instrument De aceea, testerul listează separat liniile Sitemap, verifică dacă sunt adrese complete, iar generatorul scrie una.

  8. Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), p. 183–210

    Constatare Comparația metodelor obișnuite de detectare a boților arată că niciuna nu funcționează fiabil în general. Unii boți se comportă necorespunzător sau încarcă mult serverul.

    În instrument Menționează limita că boții nu pot fi identificați sigur: o regulă funcționează doar pentru crawlerele care își declară numele și o respectă.

  9. Kim, T.; Bock, K.; Luo, C. et al. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), p. 541–557

    Constatare În experimente controlate cu 130 de boți identificați timp de 40 de zile, boții au respectat mai rar reguli mai stricte, iar crawlerele de căutare AI deseori nici nu solicitau robots.txt.

    În instrument De aceea, la fiecare „blocat” apare observația că blocarea este o solicitare, iar la „Blocați totul” în generator apare recomandarea de a implementa protecție reală pe server.

  10. Longpre, S.; Mahari, R.; Lee, A. et al. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), p. 108042–108087

    Constatare O verificare a 14.000 de domenii din spatele datelor de antrenare AI a constatat, într-un an, o creștere puternică a blocărilor, diferențe mari între furnizorii AI și contradicții frecvente între termenii de utilizare și robots.txt.

    În instrument De aceea, crawlerele AI pot fi selectate individual, iar testerul trimite la Verificarea crawlerelor AI pentru întrebarea „antrenare, da sau nu?”.

  11. Liu, E.; Luo, E.; Shan, S. et al. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), p. 78–99

    Constatare Măsurătorile și un sondaj cu 203 artiști arată o nevoie mare de robots.txt, dar și obstacole legate de cunoștințele tehnice și accesul la propriul site. Blocările la reverse proxy au protejat mai eficient.

    În instrument De aici provine generatorul pentru cazuri obișnuite fără termeni tehnici și observația de a implica hosterul pentru o blocare fermă.

  12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), p. 29–41

    Constatare O măsurătoare pe circa 4 milioane de domenii arată: robots.txt rămâne principalul mijloc de a permite sau interzice accesul crawlerelor. Agenții AI sunt limitați acolo mai ales prin linii Disallow.

    În instrument Explică de ce testerul rămâne la robots.txt și verifică identificatorii AI la fel ca pe motoarele de căutare.

  13. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, p. 197–214

    Constatare Aproximativ 1,68 la sută dintre site-urile dintr-un export Common Crawl au respins explicit crawlerul, adesea prin hosteri mari și furnizori de site-uri construite cu șabloane, de la blocare până la pagina de verificare.

    În instrument De aici limita că un robots.txt care permite accesul nu ajută dacă hosterul sau protecția împotriva boților respinge crawlerul înainte.

Standarde, autorități și informații de la producători

Luni–vineri, orele 8–17

Trimiteți-ne rezultatul copiat. Verificăm robots.txt și sitemapul site-ului dumneavoastră și remediem ce ține paginile departe de Google, în Rodewisch și în tot Vogtlandul.

+49 3744 4399760[email protected]

Luni–vineri, orele 8–17 · Straße der Jugend 5, 08228 Rodewisch

Solicitați verificarea robots.txt
+49 3744 4399760Luni–vineri, orele 8–17
SunațiVă sunăm noi

LISTĂ DE COMPONENTE · FILA 1/1

Din ce este făcută această pagină

Valori măsurate la build. Cu JavaScript, browserul dumneavoastră le măsoară din nou, în timp real.

POZ.COMPONENTĂTIPDIMENSIUNE
01index.htmlDocument≈ 29 kB
02styles.cssFoaie de stil≈ 20 kB
03scripts.jsScript≈ 13 kB
04archivo-variable.woff2Font≈ 58 kB
05ibm-plex-mono.woff2Font≈ 30 kB
06favicon.svgGrafică< 1 kB

Cookie-uri de publicitate sau de analiză: niciunul. Fără consimțământul dumneavoastră, pagina nu încarcă nimic de pe serverele altor firme, în afară de Cloudflare, serviciul prin care o livrăm. Fonturile, scripturile și grafica sunt găzduite la noi. La fel construim și IT-ul dumneavoastră.

ÎN AFARA PROGRAMULUI

Sunați totuși, fără grijă

În mod normal suntem la birou de luni până vineri, între orele 8 și 17.

Numărul este redirecționat către noi și seara, și în weekend, iar de multe ori răspunde cineva. Nu putem însă promite asta.

Dacă nu răspunde nimeni, lăsați un mesaj scurt pe mesageria vocală: numele, numărul și despre ce este vorba. Vă sunăm înapoi cât putem de repede, cel târziu în următoarea zi lucrătoare.

Convorbirea nu costă nimic. Dacă trebuie să intervină cineva imediat, în afara programului, se aplică majorarea din lista de prețuri.

Sunați acum+49 3744 4399760

Preferați să scrieți? Folosiți formularul de contact sau scrieți la [email protected]. Citim mesajele în următoarea zi lucrătoare.

DIAGNOSTIC · AT-K2

Ce problemă aveți?

↵ SELECTAȚIESC ÎNCHIDEȚISUNAȚI: +49 3744 4399760

Setări individuale

Ce servicii au voie să se încarce?

Necesare din punct de vedere tehnic

Alegerea pe care o faceți aici, precum și setările pentru schema de culori și animații. Aceste informații rămân pe dispozitivul dumneavoastră, ca mici înregistrări, și nu sunt trimise niciodată către un server. Sunt necesare pentru funcționarea site-ului și de aceea nu pot fi dezactivate.