robots.txt-Tester: Darf Googlebot diese Seite lesen?

09 / STUDIEN UND QUELLEN

Worauf sich das Werkzeug stützt

Die Richtwerte und Hinweise oben beruhen auf diesen 13 wissenschaftlichen Arbeiten. Jede ist über ihren DOI bzw. die Seite des Verlags geprüft (zuletzt am 14. November 2026): Es gibt sie, sie ist nicht zurückgezogen, und ihr Befund trägt für die Frage heute noch.

1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), S. 1123–1124

   Befund Fünf aufeinanderfolgende Erhebungen an 7.593 Websites zeigen, dass robots.txt immer häufiger genutzt wird. Die Datei setzt nichts durch; es sind anständige Crawler, die sich an sie halten.

   Im Werkzeug Trägt die Warnung über jedem Ergebnis: Die robots.txt ist eine Bitte, kein Schloss.

   doi.org/10.1145/1242572.1242726 · Konferenzbeitrag

2. Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), S. 149–155

   Befund In 2.925 robots.txt-Dateien wurden die Crawler großer Suchmaschinen über eigene Gruppen meist bevorzugt, und die Bevorzugung hing stark mit dem Marktanteil zusammen.

   Im Werkzeug Darum vergleicht der Tester mehrere Crawler nebeneinander und zeigt, welche Gruppe für wen gilt: Unterschiede entstehen über benannte Gruppen.

   doi.org/10.1109/WI.2007.98 · Konferenzbeitrag

3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), S. 1171–1172

   Befund Eine Erhebung an rund 6 Millionen Websites fand, anders als die kleinere Studie von 2007, keine nennenswerte Bevorzugung einer bestimmten Suchmaschine.

   Im Werkzeug Ordnet im Text ein, dass die Befunde zur Bevorzugung je nach Stichprobe auseinandergehen. Der Tester wertet deshalb nicht, er zeigt für jeden Crawler die Gruppe, die gilt.

   doi.org/10.1145/1367497.1367711 · Konferenzbeitrag

4. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), S. 1101–1102

   Befund Die meisten kommerziellen Crawler verhielten sich regelkonform, viele verletzten oder missverstanden aber bestimmte robots.txt-Regeln immer wieder.

   Im Werkzeug Darum meldet der Tester Zeilen, die Crawler unterschiedlich lesen, und der Generator schreibt nur einfache Allow- und Disallow-Zeilen.

   doi.org/10.1145/1772690.1772824 · Konferenzbeitrag

5. Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), S. 668–675

   Befund Mit Lockseiten, die jeweils eine andere robots.txt-Regel trugen, wurde das Verhalten vieler Crawler gemessen. Wie gut sie sich hielten, unterschied sich stark; viele kommerzielle Crawler verletzten bestimmte Regeln regelmäßig.

   Im Werkzeug Stützt die Grenze „Regel ist nicht Verhalten": Ob ein Crawler wirklich folgt, zeigt nur das Server-Protokoll, nicht der Tester.

   doi.org/10.1109/WI-IAT.2010.316 · Konferenzbeitrag

6. Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), S. 1771–1779

   Befund Die Arbeit ordnet die Folgen des Crawlens für Website-Betreiber nach Kosten, Privatsphäre und Überlastung. Ob ein Crawl vertretbar ist, verlangt vom Betreiber des Crawlers ein Urteil im Einzelfall.

   Im Werkzeug Begründet, warum der Tester für vertrauliche Bereiche auf Passwortschutz statt auf eine Disallow-Zeile verweist.

   doi.org/10.1002/asi.20388 · Fachzeitschrift

7. Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), S. 991–1000

   Befund Der Vergleich von Linkverfolgung und Sitemaps über Milliarden Adressen bei Google zeigt, dass beide sich gut ergänzen: Sitemaps bringen Seiten ohne eingehende Links und frische Inhalte schneller in den Blick.

   Im Werkzeug Darum listet der Tester die Sitemap-Zeilen eigens, prüft, ob sie als volle Adresse stehen, und der Generator schreibt eine mit.

   doi.org/10.1145/1526709.1526842 · Konferenzbeitrag

8. Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), S. 183–210

   Befund Der Vergleich der gängigen Verfahren zur Erkennung von Bots zeigt, dass keines allgemein zuverlässig funktioniert. Manche Bots verhalten sich schlecht oder belasten den Server erheblich.

   Im Werkzeug Trägt die Grenze, dass sich Bots nicht sicher erkennen lassen: Eine Regel wirkt nur bei Crawlern, die ihren Namen angeben und sich daran halten.

   doi.org/10.1007/s10618-010-0180-z · Übersichtsarbeit

9. Kim, T.; Bock, K.; Luo, C. u. a. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), S. 541–557

   Befund In kontrollierten Versuchen mit 130 benannten Bots über 40 Tage hielten sich Bots seltener an strengere Regeln, und KI-Suchcrawler fragten die robots.txt oft gar nicht ab.

   Im Werkzeug Darum steht bei jedem „gesperrt" der Hinweis, dass die Sperre eine Bitte ist, und bei „Alles sperren" im Generator die Empfehlung, echten Schutz am Server einzurichten.

   doi.org/10.1145/3730567.3764471 · Konferenzbeitrag

10. Longpre, S.; Mahari, R.; Lee, A. u. a. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), S. 108042–108087

    Befund Eine Prüfung von 14.000 Domains hinter KI-Trainingsdaten fand binnen eines Jahres eine starke Zunahme von Sperren, große Unterschiede zwischen KI-Anbietern und häufige Widersprüche zwischen Nutzungsbedingungen und robots.txt.

    Im Werkzeug Darum stehen die KI-Crawler einzeln zur Wahl, und der Tester verweist für die Frage „Training ja oder nein" auf den KI-Crawler-Check.

    doi.org/10.52202/079017-3431 · Konferenzbeitrag

11. Liu, E.; Luo, E.; Shan, S. u. a. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), S. 78–99

    Befund Messungen und eine Befragung von 203 Künstlern zeigen großen Bedarf an robots.txt, aber Hürden bei Fachwissen und beim Zugriff auf die eigene Website. Sperren am Reverse-Proxy schützten wirksamer.

    Im Werkzeug Daher der Generator für gängige Fälle ohne Fachbegriffe und der Hinweis, für eine harte Sperre den Hoster einzubeziehen.

    doi.org/10.1145/3730567.3732913 · Konferenzbeitrag

12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), S. 29–41

    Befund Eine Messung an rund 4 Millionen Domains zeigt: Die robots.txt bleibt das wichtigste Mittel, um Crawlern Zugriffe zu erlauben oder zu verbieten. KI-Agenten werden dort vor allem mit Disallow-Zeilen eingeschränkt.

    Im Werkzeug Begründet, warum der Tester bei der robots.txt bleibt und KI-Kennungen gleichrangig neben Suchmaschinen prüft.

    doi.org/10.1145/3831956.3831960 · Fachzeitschrift

13. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, S. 197–214

    Befund Rund 1,68 Prozent der Websites in einem Common-Crawl-Abzug wiesen den Crawler ausdrücklich ab, oft durch große Hoster und Baukastenanbieter, von der Sperre bis zur Prüfseite.

    Im Werkzeug Daher die Grenze, dass eine erlaubende robots.txt nichts nützt, wenn Hoster oder Bot-Schutz den Crawler vorher abweisen.

    doi.org/10.1007/978-3-031-85960-1_9 · Konferenzbeitrag

Normen, Behörden und Herstellerangaben

• RFC 9309: Robots Exclusion Protocol · IETF, September 2022
• How Google interprets the robots.txt specification · Google Search Central, Stand 23. Oktober 2026
• Introduction to robots.txt · Google Search Central
• Block Search indexing with noindex · Google Search Central
• A note on unsupported rules in robots.txt · Google Search Central Blog, 2. Juli 2019
• Google common crawlers · Google Search Central
• Google special-case crawlers (AdsBot, Mediapartners) · Google Search Central
• google/robotstxt: Googles robots.txt-Parser (Tippfehler, Googlebot-Image) · Google, GitHub
• To crawl or not to crawl, that is BingBot’s question · Bing Webmaster Blog, 3. Mai 2012
• About Applebot · Apple, Stand 4. September 2026
• DuckDuckBot · DuckDuckGo
• The User-agent directive · Yandex Webmaster
• The Crawl-delay directive · Yandex Webmaster
• WordPress: do_robots() in wp-includes/functions.php · WordPress, GitHub