Công cụ AT-W48REV. 2026-A

Kiểm tra robots.txt: Googlebot có được đọc trang này không?

Googlebot có được truy cập một trang hay không do đúng một dòng trong robots.txt quyết định: quy tắc khớp dài nhất của nhóm áp dụng cho crawler đó. Anh chị dán file vào và nhập đường dẫn hoặc cả địa chỉ. Công cụ cho thấy với Googlebot, Bingbot, GPTBot và các crawler khác, đường dẫn nào được phép hoặc bị chặn, và dòng nào quyết định điều đó. Chỗ nào Google đọc khác tiêu chuẩn, công cụ báo luôn.

  • miễn phí
  • không cần đăng ký
  • Văn bản ở lại trong trình duyệt

Dán robots.txt, kiểm tra từng đường dẫn

Kiểm tra · robots.txt theo RFC 9309

Kết quả được tính theo RFC 9309, kèm các đặc điểm đã được ghi nhận của từng crawler. Crawler có tuân theo hay không là do nhà vận hành của nó quyết định.

Mở ihre-firma.de/robots.txt trong trình duyệt rồi sao chép toàn bộ nội dung. File cũng có thể được tải về trong Kiểm tra crawler AI (KI-Crawler-Check).

Tối đa 50. Với địa chỉ đầy đủ, đường dẫn và tham số được tính, ví dụ /shop?sort=preis.

Cho những crawler nào?
Công cụ tìm kiếm · 6
Các crawler khác của Google · 3
Crawler AI · 24

Là tên mà nhà vận hành nêu cho robots.txt (product token), không phải toàn bộ chuỗi nhận dạng của trình duyệt.

Công cụ tính ngay trong trình duyệt. Văn bản và địa chỉ không rời khỏi thiết bị của anh chị.

Kết quả

Anh chị dán robots.txt vào và nhập các đường dẫn. Có sẵn một ví dụ để thử.

Crawler quyết định có truy cập một trang hay không như thế nào

Từ tháng 9 năm 2022, quy trình này được quy định thành RFC 9309; trước đó chỉ là một thỏa thuận từ năm 1994, các crawler lớn lúc làm theo sát, lúc không Sun và cộng sự 2010. Công cụ tính theo RFC, theo thứ tự sau:

  1. File. File nằm ở /robots.txt trong thư mục gốc và chỉ áp dụng cho đúng host đó, kèm giao thức và cổng. File trên ihre-firma.de không áp dụng cho www.ihre-firma.de và cũng không cho shop.ihre-firma.de.
  2. Nhóm. Crawler tìm nhóm mang tên của nó, không phân biệt chữ hoa chữ thường. Nhiều nhóm cùng tên được gộp lại. Nếu không có thì áp dụng “User-agent: *”, và nếu cũng không có thì mọi thứ đều được phép.
  3. Quy tắc. Trong nhóm, dòng Allow hoặc Disallow dài nhất khớp với phần đầu đường dẫn sẽ thắng. Nếu bằng nhau thì Allow thắng. Thứ tự các dòng không quan trọng.
  4. Ký tự. Dấu sao thay cho số ký tự bất kỳ, dấu đô la ở cuối thay cho phần cuối địa chỉ. Chữ hoa chữ thường trong đường dẫn có phân biệt. Với chữ có dấu như ü, crawler so sánh dạng mã hóa phần trăm, nên “/über” và “/%C3%BCber” là một.
  5. Ngoại lệ. Ai cũng được truy cập chính file robots.txt, và các dòng Sitemap có hiệu lực độc lập với các nhóm.
NHÓM NÀO ÁP DỤNG?CRAWLER/robots.txtRIÊNGPHÒNG NHÓMNẾU KHÔNG: NHÓM*NẾU KHÔNG: TẤT CẢĐƯỢC PHÉPQUY TẮC NÀO ÁP DỤNG?ĐƯỜNG DẪNQUY TẮC KHỚPDÀI NHẤTTHẮNG, BẰNGNHAU: ALLOWĐƯỢC PHÉP HOẶCKHÓA XÓANHÓM NÀO ÁP DỤNG?CRAWLER/robots.txtNHÓM RIÊNGNẾU KHÔNG: NHÓM *NẾU KHÔNG: TẤT CẢ ĐƯỢC PHÉPQUY TẮC NÀO ÁP DỤNG?ĐƯỜNG DẪNQUY TẮC KHỚPDÀI NHẤT THẮNG, BẰNG NHAUNHAU: ALLOWĐƯỢC PHÉP HOẶC BỊ CHẶN
HÌNH 1 · CÁCH CRAWLER ĐỌC ROBOTS.TXTVÀNG = FILE CỦA ANH CHỊ · HAI CÂU HỎI, LẦN LƯỢT TRẢ LỜI

Mẫu khớp với những gì

Các ví dụ, tính bằng cùng hàm với công cụ kiểm tra
Mẫukhớp vớikhông khớp với
/fisch/fisch, /fisch.html, /fischkopf/rezept/Fisch, /katalog/fisch
/fisch//fisch/, /fisch/?sorte=lachs/fisch, /fisch.html
/*.php/index.php, /ordner/seite.php?id=1/, /seite.PHP
/*.php$/seite.php/seite.php?id=1, /seite.php5
/*?s=/?s=preise, /blog/?s=test/blog/?seite=2

Phép so khớp luôn bắt đầu từ đầu đường dẫn, vì vậy /fisch không khớp /katalog/fisch. Muốn nói “ở bất kỳ đâu” thì thêm một dấu sao ở phía trước.

Quy tắc dài nhất thắng

Trong ví dụ, nhóm chặn shop nhưng loại trừ phần khuyến mãi. Với /shop/angebote/herbst, công cụ tính ra: được phép nhờ dòng 3 “Allow: /shop/angebote/” trong nhóm “User-agent: *”. Với 15 ký tự, đó là quy tắc dài nhất trong 2 quy tắc khớp. Với /shop/kasse thì kết quả là bị chặn, vì chỉ có quy tắc ngắn hơn khớp.

Các crawler thương mại trong thời gian dài nhiều lần vi phạm hoặc hiểu sai một số quy tắc Giles và cộng sự 2010. Từ khi có RFC, cách tính đã rõ ràng, nhưng không phải crawler nào cũng làm theo. Vì thế công cụ báo những dòng mà các crawler đọc khác nhau.

User-agent: *
Disallow: /shop/
Allow: /shop/angebote/

Cái bẫy thường gặp nhất: các nhóm không thừa hưởng gì

Khi một crawler có nhóm riêng, nhóm chung không còn áp dụng cho nó nữa, dù chỉ một phần. Trong ví dụ, /intern/ phải bị chặn với tất cả, nhưng Googlebot có một nhóm riêng cho các bản nháp. Kết quả với /intern/preise: Bingbot bị chặn, còn Googlebot lại được phép. Vì vậy điều gì áp dụng cho tất cả thì phải ghi trong từng nhóm có tên riêng.

Nhóm có tên riêng rất phổ biến. Trong một khảo sát sớm trên 2.925 file robots.txt, các công cụ tìm kiếm lớn thường được cấp quyền truy cập nhiều hơn các crawler khác thông qua nhóm riêng Sun và cộng sự 2007b; một khảo sát sau đó trên khoảng 6 triệu website không thấy sự ưu ái đáng kể nào Kolay và cộng sự 2008. Dù cố ý hay không, công cụ cho thấy với mỗi crawler được chọn nhóm nào đang áp dụng, và trong phần tổng quan, mỗi nhóm áp dụng cho ai.

User-agent: *
Disallow: /intern/

User-agent: Googlebot
Disallow: /entwurf/

Những chỗ Google đọc robots.txt khác với tiêu chuẩn

Google tham gia soạn RFC và về cơ bản làm theo nó. Ở một vài chỗ, trình phân tích của Google dễ tính hơn hoặc chặt hơn, và tài liệu của Google quy định những gì RFC để ngỏ. Công cụ tính theo RFC và báo từng chỗ như vậy dưới dạng lưu ý, để anh chị có một file hoạt động giống nhau với mọi crawler.

So sánh RFC 9309 và Google, tài liệu Google cập nhật ngày 23 tháng 10 năm 2026
Nội dungRFC 9309Google
Dung lượng fileđọc ít nhất 500 KiBtối đa 500 KiB, phần còn lại bị bỏ qua
Bộ nhớ đệmtối đa 24 giờ, trừ khi không truy cập được filethường đến 24 giờ, lâu hơn nếu việc làm mới thất bại
Chuyển hướngtheo ít nhất năm lầnít nhất năm lần, sau đó như 404
404 và các mã 4xx kháckhông có robots.txt, cho phép tất cảtương tự, trừ 429
5xx hoặc không truy cập đượcchặn tất cả; sau một thời gian dài (ví dụ 30 ngày) thì coi như không có file hoặc dùng bản đã lưu12 giờ không crawl, sau đó đến 30 ngày dùng bản tốt gần nhất (nếu không có thì không hạn chế), rồi coi như không có file, nếu website truy cập được bình thường
Chỉ thịuser-agent, allow, disallow; các dòng khác crawler có thể tự diễn giải, ví dụ sitemapchỉ user-agent, allow, disallow và sitemap; noindex, nofollow và crawl-delay không còn tác dụng từ ngày 1 tháng 9 năm 2019
Lỗi chính tả, thiếu dấu hai chấmdòng không được tínhmột số lỗi chính tả như “Disalow” và các dòng thiếu dấu hai chấm, trình phân tích của Google vẫn đọc được
Tên có phần thêmtên chỉ gồm chữ cái, - và _“googlebot/1.2” và “googlebot*” được coi là “googlebot”
Chữ có dấu, ký tự đặc biệtmã hóa phần trăm trước khi so sánhso sánh ở dạng mã hóa phần trăm
Sitemapcrawler có thể tự diễn giảiđịa chỉ đầy đủ gồm giao thức và host, có thể nằm trên host khác

Nguồn: RFC 9309, Google về robots.txt (cập nhật ngày 23 tháng 10 năm 2026), blog của Google ngày 2 tháng 7 năm 2019, trình phân tích của Google. Kiểm tra ngày 14 tháng 11 năm 2026.

Các công cụ tìm kiếm khác có đặc điểm riêng. Bing làm theo Crawl-delay và nếu không có nhóm bingbot thì đọc nhóm msnbot; Yandex không còn tính Crawl-delay từ ngày 22 tháng 2 năm 2018 và có nhóm “User-agent: Yandex” cho tất cả robot của mình. Crawler của Apple, khi không có nhóm riêng, làm theo nhóm Googlebot; các crawler quảng cáo của Google bỏ qua hoàn toàn nhóm chung. Bảng bên dưới nêu những gì công cụ tính được trong số đó.

Những tên nào nên ghi trong robots.txt

Dòng User-agent cần ghi product token, tức là tên ngắn mà nhà vận hành nêu cho robots.txt: “Googlebot”, không phải toàn bộ chuỗi nhận dạng xuất hiện trong nhật ký máy chủ. Danh sách trong công cụ chỉ gồm những tên mà nhà vận hành đã công bố, và chỉ tính các trường hợp đặc biệt khi họ có mô tả.

Công cụ tìm kiếm và crawler của Google, kiểm tra ngày 14 tháng 11 năm 2026 theo tài liệu của nhà vận hành
Tên trong robots.txtNhà vận hànhDùng đểĐặc điểm
GooglebotGoogleTìm kiếm Google, cả phần tổng quan AIKhông có nhóm riêng thì áp dụng “*”.
Googlebot-ImageGoogleGoogle Hình ảnhKhông có nhóm riêng thì làm theo nhóm Googlebot.
bingbotMicrosoftBing và CopilotKhông có nhóm riêng thì làm theo nhóm msnbot nếu có, rồi mới đến “*”. Làm theo Crawl-delay.
ApplebotAppleSiri, Spotlight, SafariKhông có nhóm riêng thì làm theo nhóm Googlebot.
DuckDuckBotDuckDuckGochỉ mục riêng của DuckDuckGoKhông có nhóm riêng thì áp dụng “*”.
YandexBotYandexTìm kiếm YandexKhông có nhóm riêng thì làm theo nhóm Yandex. Crawl-delay không còn tác dụng từ tháng 2 năm 2018.
Storebot-GoogleGoogleGoogle ShoppingGoogle không công bố nhóm thay thế; công cụ tính theo RFC 9309 với “*”.
AdsBot-GoogleGoogleKiểm tra trang đích của Google AdsBỏ qua nhóm “*”. Chỉ chặn được bằng một nhóm riêng.
Mediapartners-GoogleGoogleAdSense và Ad ManagerBỏ qua nhóm “*”. Chỉ chặn được bằng một nhóm riêng.

Thêm vào đó là 24 tên nhận dạng của các nhà cung cấp AI, trong đó có GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User. Từ năm 2023, các website chặn nhà cung cấp AI ngày càng nhiều và rất khác nhau, và điều khoản sử dụng với robots.txt thường mâu thuẫn nhau Longpre và cộng sự 2024. Một phép đo trên khoảng 4 triệu tên miền cho thấy robots.txt vẫn là công cụ quan trọng nhất cho việc này, và các agent AI ở đó phần lớn bị hạn chế bằng Disallow Hoffmann và cộng sự 2026. Mỗi crawler AI đọc để làm gì được nêu trong Kiểm tra crawler AI (KI-Crawler-Check); công cụ đó cũng lấy luôn robots.txt thật của anh chị.

Viết robots.txt cho các trường hợp thường gặp

Ai cần robots.txt thì hiếm khi muốn học thuật ngữ chuyên môn. Trong một khảo sát 203 nghệ sĩ, nhu cầu có file này rất lớn, nhưng kiến thức về nó và quyền truy cập vào website của chính mình thì thường không có Liu và cộng sự 2025. Vì vậy trình tạo chỉ hỏi crawler được đọc những gì, và viết các dòng Allow và Disallow đơn giản, không mẹo mực. Bấm “Kiểm tra trong công cụ” thì đoạn văn bản được chuyển lên phần kiểm tra ở trên.

Trình tạo · robots.txt cho các trường hợp thường gặp

robots.txt chỉ điều chỉnh việc crawl. Nó không bảo vệ dữ liệu, vì ai cũng đọc được, và nó không đưa trang nào ra khỏi chỉ mục Google: một địa chỉ bị chặn vẫn có thể xuất hiện trong kết quả tìm kiếm mà không có mô tả, nếu các trang khác có liên kết đến.

Crawler được phép đọc những gì?
Chặn những khu vực nào?

Có dấu gạch chéo ở cuối thì quy tắc chỉ chặn thư mục đó. Không có thì /intern cũng khớp /internes-handbuch.

Mỗi tên có hai dòng, cho ?name= và &name=. Nhờ vậy “sort” không khớp luôn cả “resort”.

Phải có https:// và tên miền, nếu không dòng này bị bỏ.

# robots.txt, erstellt mit dem robots.txt-Tester von aureum-tech.com (Stand 14. November 2026)
# Regelt nur das Crawlen. Schützt keine Daten und nimmt keine Seite aus dem Google-Index.
User-agent: *
Disallow:

Trình tạo chạy trong trình duyệt và không gửi gì đi cả. File phải đặt tên robots.txt trong thư mục gốc, mỗi subdomain một file riêng.

Dòng Sitemap gần như lúc nào cũng đáng có. Việc theo liên kết và sitemap bổ sung cho nhau: trong hàng tỷ địa chỉ của Google, các trang không có liên kết đến và nội dung mới được nhận biết nhanh hơn nhờ sitemap Schonfeld và Shivakumar 2009. Dòng này cần địa chỉ đầy đủ và áp dụng cho mọi nhóm.

Những điều robots.txt không làm được

  • Nó không đưa gì ra khỏi chỉ mục. Theo Google, robots.txt không phải là cách để giữ một trang khỏi Google. Một địa chỉ bị chặn mà các trang khác có liên kết đến vẫn có thể xuất hiện trong kết quả mà không có mô tả. Muốn gỡ ra thì dùng noindex, và Google chỉ thấy nó khi được phép đọc trang.
  • Nó không bảo vệ gì cả. File này công khai và liệt kê các đường dẫn bị chặn; RFC nói rõ rằng nó không thay thế việc kiểm soát truy cập. Crawler có tuân theo hay không là chuyện cân nhắc của nhà vận hành Thelwall và Stuart 2006. Nội dung bí mật phải nằm sau mật khẩu.
  • Nó chỉ là một lời đề nghị. Ngay từ các khảo sát lớn đầu tiên, file này đã được mô tả là quy tắc mà các crawler tử tế tự giác làm theo, không phải là biện pháp cưỡng chế Sun và cộng sự 2007a. Trong thí nghiệm với 130 bot có tên trong 40 ngày, các bot ít tuân theo các quy tắc chặt hơn, và các crawler tìm kiếm AI thường không hề truy vấn file Kim và cộng sự 2025.
  • Nó chỉ có tác dụng với tên. Không thể nhận diện bot một cách chắc chắn, không phương pháp phổ biến nào làm được điều đó một cách đáng tin cậy Doran và Gokhale 2011. Bot dùng tên giả thì không gặp quy tắc nào.
  • Lệnh chặn cứng nằm ở máy chủ. Với crawler AI, việc chặn ở reverse proxy hiệu quả hơn robots.txt Liu và cộng sự 2025. Ngược lại, một số nhà cung cấp hosting và công cụ tạo website từ chối crawler trước khi robots.txt kịp có tác dụng: trong một bản trích Common Crawl, tỷ lệ đó khoảng 1,68% website Ansar và cộng sự 2025. Khi đó dòng Allow đẹp đến mấy cũng vô ích.
  • Công cụ tính trên văn bản của anh chị. Máy chủ của anh chị có thực sự trả về đúng file này, với trạng thái 200 và dạng văn bản, thì Kiểm tra crawler AI (KI-Crawler-Check) xem bằng một lần truy cập thật.

Công cụ này trả lời một câu hỏi sơ bộ. Các trang của anh chị có thực sự nằm trên Google hay không, và nếu không thì vướng ở đâu, Quick-Check của SpotLens sẽ cho thấy. Các bước đầu để tự kiểm tra có trong cẩm nang Website không tìm thấy trên Google, còn cách chúng tôi giúp website ở Rodewisch và vùng Vogtland dễ được tìm thấy nằm ở mục SEO. Các công cụ khác về khả năng được tìm thấy nằm ở SEO và hiển thị.

Dùng công cụ này từ một trợ lý AI

Các trợ lý như Claude hoặc ChatGPT có hỗ trợ Model Context Protocol (MCP) có thể gọi thẳng phép tính của trang này thay vì tự dựng lại. Máy chủ này công khai, không cần đăng nhập và không lưu lại gì. Câu trả lời luôn kèm đường link đến trang này, ngày cập nhật dữ liệu và giới hạn của kết quả.

Endpoint
https://aureum-tech.com/mcp
Công cụ
werkzeug_robots_txt_tester
Phương thức truyền
Streamable HTTP, chỉ đọc
Dữ liệu đầu vào
TênBắt buộcÝ nghĩa
robots_txtcóToàn bộ văn bản robots.txt, đúng như nằm ở /robots.txt.
pfadekhôngTối đa 50 đường dẫn hoặc URL đầy đủ, ví dụ “/kontakt” hoặc “https://www.firma.de/blog?seite=2”. Với URL, đường dẫn và query được tính. Nếu không nhập thì là “/”.
crawlerkhôngProduct token của các crawler, ví dụ Googlebot, bingbot, GPTBot; “*” cho mọi crawler không có nhóm riêng. Các tên đã biết: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. Các tên khác được kiểm tra theo RFC 9309. Nếu không nhập: Googlebot, bingbot, GPTBot, ClaudeBot, *.

Những câu hỏi mà trợ lý nên gọi công cụ này

  • “Với robots.txt này, Googlebot có được truy cập /wp-admin/admin-ajax.php không?”
  • “Vì sao lệnh chặn dưới ‘User-agent: *’ của tôi không áp dụng cho GPTBot?”
  • “Dòng nào trong robots.txt của tôi chặn https://www.firma.de/shop?sort=preis đối với Bingbot?”
  • “‘Disalow: /intern/’ trong robots.txt của tôi có phải lỗi không, và Google có đọc dòng đó không?”

Cách kết nối hoạt động ra sao và MCP làm được gì cho cơ sở của anh chị, anh chị xem ở trang Tích hợp MCP.

Câu hỏi thường gặp về robots.txt

“Disallow” có đưa một trang ra khỏi chỉ mục Google không?

Không. Disallow chỉ cấm việc truy cập trang. Nếu các trang khác có liên kết đến địa chỉ đó, Google vẫn có thể đưa nó vào kết quả tìm kiếm, nhưng không có phần mô tả. Muốn trang biến mất, Google phải được phép đọc trang và tìm thấy noindex trong thẻ meta hoặc trong X-Robots-Tag ở đó; hoặc trang trả về 404 hay 410, hoặc nằm sau mật khẩu. Chặn và noindex cùng lúc cho kết quả ngược lại: Google không bao giờ thấy noindex.

Vì sao lệnh chặn dưới “User-agent: *” của tôi không áp dụng cho Googlebot?

Vì đã có một nhóm riêng cho Googlebot. Crawler làm theo nhóm mang tên của nó, và chỉ khi không có nhóm đó mới làm theo nhóm chung “*”. Vì vậy những gì bị chặn ở nhóm chung cũng phải được ghi trong từng nhóm có tên riêng. Công cụ cho thấy ở mỗi kết quả nhóm nào đang áp dụng.

Khi Allow và Disallow cùng khớp một đường dẫn thì bên nào thắng?

Quy tắc dài hơn, tính theo số ký tự. Nếu bằng nhau thì Allow thắng, thứ tự trong file không quan trọng. Với “Disallow: /shop/” và “Allow: /shop/angebote/”, thư mục /shop/angebote/ vẫn mở, phần còn lại của shop thì không.

Khi robots.txt thay đổi thì Google áp dụng sau bao lâu?

Google thường lưu file tối đa 24 giờ, và lâu hơn nếu việc làm mới thất bại. Trong thời gian đó các quy tắc cũ vẫn có hiệu lực. Vì vậy anh chị nên kiểm tra thay đổi ở đây trước, rồi mới tải lên.

Tôi có thể bảo vệ các khu vực bí mật bằng robots.txt không?

Không. File này công khai, ai cũng mở được, và còn tiết lộ cả các đường dẫn bị chặn. Chính tiêu chuẩn cũng nói rõ: nó không thay thế việc kiểm soát truy cập. Nội dung bí mật phải nằm sau đăng nhập hoặc mật khẩu đặt trên máy chủ.

Google có làm theo Crawl-delay hoặc Noindex trong robots.txt không?

Không. Google chỉ đọc user-agent, allow, disallow và sitemap. Noindex, nofollow và crawl-delay trong robots.txt không còn tác dụng với Google từ ngày 1 tháng 9 năm 2019. Bing làm theo Crawl-delay, Yandex từ tháng 2 năm 2018 thì không còn, Applebot cũng không. Công cụ đánh dấu những dòng như vậy.

Công cụ kiểm tra robots.txt dừng lại ở đâu?

Công cụ tính trên đoạn văn bản anh chị dán vào, theo RFC 9309 và các đặc điểm đã được ghi nhận của crawler. Máy chủ của anh chị có thực sự trả về đúng file này hay không, thì Kiểm tra crawler AI (KI-Crawler-Check) xem bằng một lần truy cập thật. Các trang có nằm trong chỉ mục hay không, và nếu không thì vướng ở đâu, Quick-Check của SpotLens sẽ cho thấy. Những gì khiến trang không lên Google, chúng tôi xử lý khi anh chị yêu cầu.

Công cụ này dựa trên những gì

Các giá trị tham khảo và lưu ý ở trên dựa trên 13 công trình khoa học này. Mỗi công trình đã được kiểm tra qua DOI hoặc trang của nhà xuất bản (lần cuối ngày 14 tháng 11 năm 2026): công trình có thật, chưa bị rút lại, và kết luận của nó đến nay vẫn đứng vững cho câu hỏi đang bàn.

  1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), tr. 1123–1124

    Kết quả Năm đợt khảo sát liên tiếp trên 7.593 website cho thấy robots.txt ngày càng được dùng nhiều. File này không cưỡng chế điều gì; chỉ các crawler tử tế mới làm theo.

    Trong công cụ Là cơ sở cho lời cảnh báo phía trên mỗi kết quả: robots.txt là một lời đề nghị, không phải ổ khóa.

  2. Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), tr. 149–155

    Kết quả Trong 2.925 file robots.txt, các crawler của công cụ tìm kiếm lớn thường được ưu ái qua nhóm riêng, và mức ưu ái liên quan chặt chẽ với thị phần.

    Trong công cụ Vì vậy công cụ so sánh nhiều crawler cạnh nhau và cho thấy nhóm nào áp dụng cho ai: sự khác biệt phát sinh từ các nhóm có tên riêng.

  3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), tr. 1171–1172

    Kết quả Một khảo sát trên khoảng 6 triệu website, khác với nghiên cứu nhỏ hơn năm 2007, không thấy sự ưu ái đáng kể nào dành cho một công cụ tìm kiếm cụ thể.

    Trong công cụ Văn bản giải thích rằng các kết luận về sự ưu ái khác nhau tùy theo mẫu khảo sát. Vì vậy công cụ không đánh giá mà cho thấy nhóm áp dụng cho từng crawler.

  4. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), tr. 1101–1102

    Phát hiện Phần lớn crawler thương mại tuân thủ quy tắc, nhưng nhiều crawler vẫn nhiều lần vi phạm hoặc hiểu sai một số quy tắc robots.txt.

    Trong công cụ Vì vậy công cụ báo những dòng mà các crawler đọc khác nhau, và trình tạo chỉ viết các dòng Allow và Disallow đơn giản.

  5. Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), tr. 668–675

    Kết quả Hành vi của nhiều crawler được đo bằng các trang mồi, mỗi trang mang một quy tắc robots.txt khác nhau. Mức độ tuân thủ khác nhau rất nhiều; nhiều crawler thương mại thường xuyên vi phạm một số quy tắc.

    Trong công cụ Củng cố giới hạn “quy tắc không phải là hành vi”: crawler có thực sự làm theo hay không chỉ nhật ký máy chủ mới cho thấy, công cụ thì không.

  6. Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), tr. 1771–1779

    Kết quả Công trình sắp xếp các hệ quả của việc crawl đối với chủ website theo chi phí, quyền riêng tư và quá tải. Một lần crawl có chấp nhận được hay không đòi hỏi nhà vận hành crawler phải đánh giá theo từng trường hợp.

    Trong công cụ Giải thích vì sao công cụ chỉ dẫn đến bảo vệ bằng mật khẩu thay vì một dòng Disallow cho các khu vực bí mật.

  7. Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), tr. 991–1000

    Kết quả So sánh việc theo liên kết và sitemap trên hàng tỷ địa chỉ của Google cho thấy hai cách bổ sung tốt cho nhau: sitemap đưa các trang không có liên kết đến và nội dung mới vào tầm nhìn nhanh hơn.

    Trong công cụ Vì vậy công cụ liệt kê riêng các dòng Sitemap, kiểm tra xem chúng có phải địa chỉ đầy đủ không, và trình tạo viết kèm một dòng.

  8. Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), tr. 183–210

    Kết quả So sánh các phương pháp phổ biến để nhận diện bot cho thấy không phương pháp nào đáng tin cậy nói chung. Một số bot hành xử xấu hoặc gây tải đáng kể cho máy chủ.

    Trong công cụ Là cơ sở cho giới hạn rằng không thể nhận diện bot một cách chắc chắn: một quy tắc chỉ có tác dụng với các crawler khai báo tên của mình và làm theo nó.

  9. Kim, T.; Bock, K.; Luo, C. và cs. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), tr. 541–557

    Kết quả Trong các thí nghiệm có kiểm soát với 130 bot có tên trong 40 ngày, các bot ít tuân theo các quy tắc chặt hơn, và các crawler tìm kiếm AI thường không hề truy vấn robots.txt.

    Trong công cụ Vì vậy ở mỗi kết quả “bị chặn” có lưu ý rằng lệnh chặn chỉ là một lời đề nghị, và ở mục “Chặn tất cả” của trình tạo có khuyến nghị thiết lập bảo vệ thật sự ở máy chủ.

  10. Longpre, S.; Mahari, R.; Lee, A. và cs. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), tr. 108042–108087

    Phát hiện Một đợt kiểm tra 14.000 domain đứng sau dữ liệu huấn luyện AI cho thấy trong vòng một năm việc chặn tăng mạnh, có sự khác biệt lớn giữa các nhà cung cấp AI và thường có mâu thuẫn giữa điều khoản sử dụng và robots.txt.

    Trong công cụ Vì vậy các crawler AI được chọn riêng từng cái, và với câu hỏi “có cho huấn luyện hay không” công cụ dẫn đến Kiểm tra crawler AI (KI-Crawler-Check).

  11. Liu, E.; Luo, E.; Shan, S. và cs. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), tr. 78–99

    Kết quả Các phép đo và một khảo sát 203 nghệ sĩ cho thấy nhu cầu lớn về robots.txt, nhưng có rào cản về kiến thức và quyền truy cập vào website của chính mình. Chặn ở reverse proxy bảo vệ hiệu quả hơn.

    Trong công cụ Vì vậy có trình tạo cho các trường hợp thường gặp, không dùng thuật ngữ chuyên môn, và có lưu ý nên nhờ nhà cung cấp hosting tham gia nếu muốn chặn cứng.

  12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), tr. 29–41

    Kết quả Một phép đo trên khoảng 4 triệu tên miền cho thấy: robots.txt vẫn là công cụ quan trọng nhất để cho phép hoặc cấm crawler truy cập. Các agent AI ở đó chủ yếu bị hạn chế bằng các dòng Disallow.

    Trong công cụ Giải thích vì sao công cụ giữ nguyên robots.txt và kiểm tra các tên nhận dạng AI ngang hàng với công cụ tìm kiếm.

  13. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, tr. 197–214

    Phát hiện Khoảng 1,68 phần trăm website trong một bản chụp Common Crawl đã từ chối crawler một cách rõ ràng, thường qua các nhà cung cấp hosting lớn và công cụ dựng web, từ việc chặn đến trang kiểm tra.

    Trong công cụ Vì vậy có giới hạn rằng một robots.txt cho phép cũng vô ích nếu nhà cung cấp hosting hoặc lớp chống bot đã từ chối crawler từ trước.

Tiêu chuẩn, cơ quan nhà nước và thông tin của nhà sản xuất

Thứ Hai–thứ Sáu, 8–17 giờ

Anh chị gửi cho chúng tôi kết quả đã sao chép. Chúng tôi kiểm tra robots.txt và sitemap của website anh chị và xử lý những gì khiến trang không lên Google, tại Rodewisch và khắp vùng Vogtland.

+49 3744 4399760[email protected]

Thứ Hai–thứ Sáu, 8–17 giờ · Straße der Jugend 5, 08228 Rodewisch

Nhờ kiểm tra robots.txt
+49 3744 4399760Thứ Hai–thứ Sáu, 8–17 giờ
Gọi điệnGọi lại cho tôi

BẢNG KÊ THÀNH PHẦN · TRANG 1/1

Trang này gồm những gì

Số liệu được đo lúc dựng trang. Nếu có JavaScript, trình duyệt của anh chị sẽ đo lại trực tiếp.

STTTHÀNH PHẦNLOẠIDUNG LƯỢNG
01index.htmlTài liệu≈ 29 kB
02styles.cssStylesheet≈ 20 kB
03scripts.jsScript≈ 13 kB
04archivo-variable.woff2Phông chữ≈ 58 kB
05ibm-plex-mono.woff2Phông chữ≈ 30 kB
06favicon.svgĐồ họa< 1 kB

Cookie quảng cáo hoặc cookie phân tích: không có. Khi chưa được anh chị đồng ý, trang này không tải gì từ máy chủ bên ngoài, ngoại trừ Cloudflare, dịch vụ phân phối nội dung mà chúng tôi dùng. Phông chữ, script và hình ảnh đều nằm trên máy chủ của chúng tôi. Hệ thống IT của anh chị, chúng tôi cũng xây dựng theo cách đó.

NGOÀI GIỜ LÀM VIỆC

Anh chị vẫn cứ gọi, không sao cả

Theo lịch bình thường, chúng tôi có mặt ở văn phòng từ thứ Hai đến thứ Sáu, 8–17 giờ.

Buổi tối và cuối tuần, số này vẫn được chuyển tiếp đến chúng tôi và thường có người nghe máy. Nhưng điều đó chúng tôi không dám hứa chắc.

Nếu không ai nghe máy, anh chị để lại lời nhắn ngắn trong hộp thư thoại: tên, số điện thoại và việc cần hỗ trợ. Chúng tôi sẽ gọi lại sớm nhất có thể, chậm nhất là ngày làm việc tiếp theo.

Cuộc gọi không mất tiền. Nếu ngoài giờ làm việc mà cần có người xử lý ngay thì áp dụng phụ phí ghi trong bảng giá.

Gọi ngay+49 3744 4399760

Anh chị muốn viết hơn? Anh chị dùng biểu mẫu liên hệ hoặc gửi email đến [email protected]. Chúng tôi sẽ đọc vào ngày làm việc tiếp theo.

CHẨN ĐOÁN · AT-K2

Anh chị đang gặp chuyện gì?

↵ CHỌNESC ĐÓNGGỌI ĐIỆN: +49 3744 4399760

Cài đặt riêng

Những dịch vụ nào được phép tải?

Cần thiết về mặt kỹ thuật

Lựa chọn của anh chị tại đây, cùng với cài đặt về giao diện màu và chuyển động. Những thông tin này được lưu thành các mục nhỏ trên thiết bị của anh chị và không bao giờ được gửi đến máy chủ nào. Trang web cần chúng để hoạt động nên không thể bỏ chọn.