Công cụ AT-W48REV. 2026-A
Kiểm tra robots.txt: Googlebot có được đọc trang này không?
Googlebot có được truy cập một trang hay không do đúng một dòng trong robots.txt quyết định: quy tắc khớp dài nhất của nhóm áp dụng cho crawler đó. Anh chị dán file vào và nhập đường dẫn hoặc cả địa chỉ. Công cụ cho thấy với Googlebot, Bingbot, GPTBot và các crawler khác, đường dẫn nào được phép hoặc bị chặn, và dòng nào quyết định điều đó. Chỗ nào Google đọc khác tiêu chuẩn, công cụ báo luôn.
- miễn phí
- không cần đăng ký
- Văn bản ở lại trong trình duyệt
01 / KIỂM TRA
Dán robots.txt, kiểm tra từng đường dẫn
Kiểm tra · robots.txt theo RFC 9309
Kết quả được tính theo RFC 9309, kèm các đặc điểm đã được ghi nhận của từng crawler. Crawler có tuân theo hay không là do nhà vận hành của nó quyết định.
02 / QUY TẮC
Crawler quyết định có truy cập một trang hay không như thế nào
Từ tháng 9 năm 2022, quy trình này được quy định thành RFC 9309; trước đó chỉ là một thỏa thuận từ năm 1994, các crawler lớn lúc làm theo sát, lúc không Sun và cộng sự 2010. Công cụ tính theo RFC, theo thứ tự sau:
- File. File nằm ở /robots.txt trong thư mục gốc và chỉ áp dụng cho đúng host đó, kèm giao thức và cổng. File trên ihre-firma.de không áp dụng cho www.ihre-firma.de và cũng không cho shop.ihre-firma.de.
- Nhóm. Crawler tìm nhóm mang tên của nó, không phân biệt chữ hoa chữ thường. Nhiều nhóm cùng tên được gộp lại. Nếu không có thì áp dụng “User-agent: *”, và nếu cũng không có thì mọi thứ đều được phép.
- Quy tắc. Trong nhóm, dòng Allow hoặc Disallow dài nhất khớp với phần đầu đường dẫn sẽ thắng. Nếu bằng nhau thì Allow thắng. Thứ tự các dòng không quan trọng.
- Ký tự. Dấu sao thay cho số ký tự bất kỳ, dấu đô la ở cuối thay cho phần cuối địa chỉ. Chữ hoa chữ thường trong đường dẫn có phân biệt. Với chữ có dấu như ü, crawler so sánh dạng mã hóa phần trăm, nên “/über” và “/%C3%BCber” là một.
- Ngoại lệ. Ai cũng được truy cập chính file robots.txt, và các dòng Sitemap có hiệu lực độc lập với các nhóm.
Mẫu khớp với những gì
| Mẫu | khớp với | không khớp với |
|---|---|---|
| /fisch | /fisch, /fisch.html, /fischkopf/rezept | /Fisch, /katalog/fisch |
| /fisch/ | /fisch/, /fisch/?sorte=lachs | /fisch, /fisch.html |
| /*.php | /index.php, /ordner/seite.php?id=1 | /, /seite.PHP |
| /*.php$ | /seite.php | /seite.php?id=1, /seite.php5 |
| /*?s= | /?s=preise, /blog/?s=test | /blog/?seite=2 |
Phép so khớp luôn bắt đầu từ đầu đường dẫn, vì vậy /fisch không khớp /katalog/fisch. Muốn nói “ở bất kỳ đâu” thì thêm một dấu sao ở phía trước.
Quy tắc dài nhất thắng
Trong ví dụ, nhóm chặn shop nhưng loại trừ phần khuyến mãi. Với /shop/angebote/herbst, công cụ tính ra: được phép nhờ dòng 3 “Allow: /shop/angebote/” trong nhóm “User-agent: *”. Với 15 ký tự, đó là quy tắc dài nhất trong 2 quy tắc khớp. Với /shop/kasse thì kết quả là bị chặn, vì chỉ có quy tắc ngắn hơn khớp.
Các crawler thương mại trong thời gian dài nhiều lần vi phạm hoặc hiểu sai một số quy tắc Giles và cộng sự 2010. Từ khi có RFC, cách tính đã rõ ràng, nhưng không phải crawler nào cũng làm theo. Vì thế công cụ báo những dòng mà các crawler đọc khác nhau.
User-agent: * Disallow: /shop/ Allow: /shop/angebote/
Cái bẫy thường gặp nhất: các nhóm không thừa hưởng gì
Khi một crawler có nhóm riêng, nhóm chung không còn áp dụng cho nó nữa, dù chỉ một phần. Trong ví dụ, /intern/ phải bị chặn với tất cả, nhưng Googlebot có một nhóm riêng cho các bản nháp. Kết quả với /intern/preise: Bingbot bị chặn, còn Googlebot lại được phép. Vì vậy điều gì áp dụng cho tất cả thì phải ghi trong từng nhóm có tên riêng.
Nhóm có tên riêng rất phổ biến. Trong một khảo sát sớm trên 2.925 file robots.txt, các công cụ tìm kiếm lớn thường được cấp quyền truy cập nhiều hơn các crawler khác thông qua nhóm riêng Sun và cộng sự 2007b; một khảo sát sau đó trên khoảng 6 triệu website không thấy sự ưu ái đáng kể nào Kolay và cộng sự 2008. Dù cố ý hay không, công cụ cho thấy với mỗi crawler được chọn nhóm nào đang áp dụng, và trong phần tổng quan, mỗi nhóm áp dụng cho ai.
User-agent: * Disallow: /intern/ User-agent: Googlebot Disallow: /entwurf/
03 / GOOGLE
Những chỗ Google đọc robots.txt khác với tiêu chuẩn
Google tham gia soạn RFC và về cơ bản làm theo nó. Ở một vài chỗ, trình phân tích của Google dễ tính hơn hoặc chặt hơn, và tài liệu của Google quy định những gì RFC để ngỏ. Công cụ tính theo RFC và báo từng chỗ như vậy dưới dạng lưu ý, để anh chị có một file hoạt động giống nhau với mọi crawler.
| Nội dung | RFC 9309 | |
|---|---|---|
| Dung lượng file | đọc ít nhất 500 KiB | tối đa 500 KiB, phần còn lại bị bỏ qua |
| Bộ nhớ đệm | tối đa 24 giờ, trừ khi không truy cập được file | thường đến 24 giờ, lâu hơn nếu việc làm mới thất bại |
| Chuyển hướng | theo ít nhất năm lần | ít nhất năm lần, sau đó như 404 |
| 404 và các mã 4xx khác | không có robots.txt, cho phép tất cả | tương tự, trừ 429 |
| 5xx hoặc không truy cập được | chặn tất cả; sau một thời gian dài (ví dụ 30 ngày) thì coi như không có file hoặc dùng bản đã lưu | 12 giờ không crawl, sau đó đến 30 ngày dùng bản tốt gần nhất (nếu không có thì không hạn chế), rồi coi như không có file, nếu website truy cập được bình thường |
| Chỉ thị | user-agent, allow, disallow; các dòng khác crawler có thể tự diễn giải, ví dụ sitemap | chỉ user-agent, allow, disallow và sitemap; noindex, nofollow và crawl-delay không còn tác dụng từ ngày 1 tháng 9 năm 2019 |
| Lỗi chính tả, thiếu dấu hai chấm | dòng không được tính | một số lỗi chính tả như “Disalow” và các dòng thiếu dấu hai chấm, trình phân tích của Google vẫn đọc được |
| Tên có phần thêm | tên chỉ gồm chữ cái, - và _ | “googlebot/1.2” và “googlebot*” được coi là “googlebot” |
| Chữ có dấu, ký tự đặc biệt | mã hóa phần trăm trước khi so sánh | so sánh ở dạng mã hóa phần trăm |
| Sitemap | crawler có thể tự diễn giải | địa chỉ đầy đủ gồm giao thức và host, có thể nằm trên host khác |
Nguồn: RFC 9309, Google về robots.txt (cập nhật ngày 23 tháng 10 năm 2026), blog của Google ngày 2 tháng 7 năm 2019, trình phân tích của Google. Kiểm tra ngày 14 tháng 11 năm 2026.
Các công cụ tìm kiếm khác có đặc điểm riêng. Bing làm theo Crawl-delay và nếu không có nhóm bingbot thì đọc nhóm msnbot; Yandex không còn tính Crawl-delay từ ngày 22 tháng 2 năm 2018 và có nhóm “User-agent: Yandex” cho tất cả robot của mình. Crawler của Apple, khi không có nhóm riêng, làm theo nhóm Googlebot; các crawler quảng cáo của Google bỏ qua hoàn toàn nhóm chung. Bảng bên dưới nêu những gì công cụ tính được trong số đó.
04 / CRAWLER
Những tên nào nên ghi trong robots.txt
Dòng User-agent cần ghi product token, tức là tên ngắn mà nhà vận hành nêu cho robots.txt: “Googlebot”, không phải toàn bộ chuỗi nhận dạng xuất hiện trong nhật ký máy chủ. Danh sách trong công cụ chỉ gồm những tên mà nhà vận hành đã công bố, và chỉ tính các trường hợp đặc biệt khi họ có mô tả.
| Tên trong robots.txt | Nhà vận hành | Dùng để | Đặc điểm |
|---|---|---|---|
| Googlebot | Tìm kiếm Google, cả phần tổng quan AI | Không có nhóm riêng thì áp dụng “*”. | |
| Googlebot-Image | Google Hình ảnh | Không có nhóm riêng thì làm theo nhóm Googlebot. | |
| bingbot | Microsoft | Bing và Copilot | Không có nhóm riêng thì làm theo nhóm msnbot nếu có, rồi mới đến “*”. Làm theo Crawl-delay. |
| Applebot | Apple | Siri, Spotlight, Safari | Không có nhóm riêng thì làm theo nhóm Googlebot. |
| DuckDuckBot | DuckDuckGo | chỉ mục riêng của DuckDuckGo | Không có nhóm riêng thì áp dụng “*”. |
| YandexBot | Yandex | Tìm kiếm Yandex | Không có nhóm riêng thì làm theo nhóm Yandex. Crawl-delay không còn tác dụng từ tháng 2 năm 2018. |
| Storebot-Google | Google Shopping | Google không công bố nhóm thay thế; công cụ tính theo RFC 9309 với “*”. | |
| AdsBot-Google | Kiểm tra trang đích của Google Ads | Bỏ qua nhóm “*”. Chỉ chặn được bằng một nhóm riêng. | |
| Mediapartners-Google | AdSense và Ad Manager | Bỏ qua nhóm “*”. Chỉ chặn được bằng một nhóm riêng. |
Thêm vào đó là 24 tên nhận dạng của các nhà cung cấp AI, trong đó có GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User. Từ năm 2023, các website chặn nhà cung cấp AI ngày càng nhiều và rất khác nhau, và điều khoản sử dụng với robots.txt thường mâu thuẫn nhau Longpre và cộng sự 2024. Một phép đo trên khoảng 4 triệu tên miền cho thấy robots.txt vẫn là công cụ quan trọng nhất cho việc này, và các agent AI ở đó phần lớn bị hạn chế bằng Disallow Hoffmann và cộng sự 2026. Mỗi crawler AI đọc để làm gì được nêu trong Kiểm tra crawler AI (KI-Crawler-Check); công cụ đó cũng lấy luôn robots.txt thật của anh chị.
05 / TRÌNH TẠO
Viết robots.txt cho các trường hợp thường gặp
Ai cần robots.txt thì hiếm khi muốn học thuật ngữ chuyên môn. Trong một khảo sát 203 nghệ sĩ, nhu cầu có file này rất lớn, nhưng kiến thức về nó và quyền truy cập vào website của chính mình thì thường không có Liu và cộng sự 2025. Vì vậy trình tạo chỉ hỏi crawler được đọc những gì, và viết các dòng Allow và Disallow đơn giản, không mẹo mực. Bấm “Kiểm tra trong công cụ” thì đoạn văn bản được chuyển lên phần kiểm tra ở trên.
Trình tạo · robots.txt cho các trường hợp thường gặp
robots.txt chỉ điều chỉnh việc crawl. Nó không bảo vệ dữ liệu, vì ai cũng đọc được, và nó không đưa trang nào ra khỏi chỉ mục Google: một địa chỉ bị chặn vẫn có thể xuất hiện trong kết quả tìm kiếm mà không có mô tả, nếu các trang khác có liên kết đến.
Trình tạo chạy trong trình duyệt và không gửi gì đi cả. File phải đặt tên robots.txt trong thư mục gốc, mỗi subdomain một file riêng.
Dòng Sitemap gần như lúc nào cũng đáng có. Việc theo liên kết và sitemap bổ sung cho nhau: trong hàng tỷ địa chỉ của Google, các trang không có liên kết đến và nội dung mới được nhận biết nhanh hơn nhờ sitemap Schonfeld và Shivakumar 2009. Dòng này cần địa chỉ đầy đủ và áp dụng cho mọi nhóm.
06 / GIỚI HẠN
Những điều robots.txt không làm được
- Nó không đưa gì ra khỏi chỉ mục. Theo Google, robots.txt không phải là cách để giữ một trang khỏi Google. Một địa chỉ bị chặn mà các trang khác có liên kết đến vẫn có thể xuất hiện trong kết quả mà không có mô tả. Muốn gỡ ra thì dùng noindex, và Google chỉ thấy nó khi được phép đọc trang.
- Nó không bảo vệ gì cả. File này công khai và liệt kê các đường dẫn bị chặn; RFC nói rõ rằng nó không thay thế việc kiểm soát truy cập. Crawler có tuân theo hay không là chuyện cân nhắc của nhà vận hành Thelwall và Stuart 2006. Nội dung bí mật phải nằm sau mật khẩu.
- Nó chỉ là một lời đề nghị. Ngay từ các khảo sát lớn đầu tiên, file này đã được mô tả là quy tắc mà các crawler tử tế tự giác làm theo, không phải là biện pháp cưỡng chế Sun và cộng sự 2007a. Trong thí nghiệm với 130 bot có tên trong 40 ngày, các bot ít tuân theo các quy tắc chặt hơn, và các crawler tìm kiếm AI thường không hề truy vấn file Kim và cộng sự 2025.
- Nó chỉ có tác dụng với tên. Không thể nhận diện bot một cách chắc chắn, không phương pháp phổ biến nào làm được điều đó một cách đáng tin cậy Doran và Gokhale 2011. Bot dùng tên giả thì không gặp quy tắc nào.
- Lệnh chặn cứng nằm ở máy chủ. Với crawler AI, việc chặn ở reverse proxy hiệu quả hơn robots.txt Liu và cộng sự 2025. Ngược lại, một số nhà cung cấp hosting và công cụ tạo website từ chối crawler trước khi robots.txt kịp có tác dụng: trong một bản trích Common Crawl, tỷ lệ đó khoảng 1,68% website Ansar và cộng sự 2025. Khi đó dòng Allow đẹp đến mấy cũng vô ích.
- Công cụ tính trên văn bản của anh chị. Máy chủ của anh chị có thực sự trả về đúng file này, với trạng thái 200 và dạng văn bản, thì Kiểm tra crawler AI (KI-Crawler-Check) xem bằng một lần truy cập thật.
Công cụ này trả lời một câu hỏi sơ bộ. Các trang của anh chị có thực sự nằm trên Google hay không, và nếu không thì vướng ở đâu, Quick-Check của SpotLens sẽ cho thấy. Các bước đầu để tự kiểm tra có trong cẩm nang Website không tìm thấy trên Google, còn cách chúng tôi giúp website ở Rodewisch và vùng Vogtland dễ được tìm thấy nằm ở mục SEO. Các công cụ khác về khả năng được tìm thấy nằm ở SEO và hiển thị.
07 / DÀNH CHO TRỢ LÝ AI
Dùng công cụ này từ một trợ lý AI
Các trợ lý như Claude hoặc ChatGPT có hỗ trợ Model Context Protocol (MCP) có thể gọi thẳng phép tính của trang này thay vì tự dựng lại. Máy chủ này công khai, không cần đăng nhập và không lưu lại gì. Câu trả lời luôn kèm đường link đến trang này, ngày cập nhật dữ liệu và giới hạn của kết quả.
- Endpoint
https://aureum-tech.com/mcp- Công cụ
werkzeug_robots_txt_tester- Phương thức truyền
- Streamable HTTP, chỉ đọc
| Tên | Bắt buộc | Ý nghĩa |
|---|---|---|
robots_txt | có | Toàn bộ văn bản robots.txt, đúng như nằm ở /robots.txt. |
pfade | không | Tối đa 50 đường dẫn hoặc URL đầy đủ, ví dụ “/kontakt” hoặc “https://www.firma.de/blog?seite=2”. Với URL, đường dẫn và query được tính. Nếu không nhập thì là “/”. |
crawler | không | Product token của các crawler, ví dụ Googlebot, bingbot, GPTBot; “*” cho mọi crawler không có nhóm riêng. Các tên đã biết: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. Các tên khác được kiểm tra theo RFC 9309. Nếu không nhập: Googlebot, bingbot, GPTBot, ClaudeBot, *. |
Những câu hỏi mà trợ lý nên gọi công cụ này
- “Với robots.txt này, Googlebot có được truy cập /wp-admin/admin-ajax.php không?”
- “Vì sao lệnh chặn dưới ‘User-agent: *’ của tôi không áp dụng cho GPTBot?”
- “Dòng nào trong robots.txt của tôi chặn https://www.firma.de/shop?sort=preis đối với Bingbot?”
- “‘Disalow: /intern/’ trong robots.txt của tôi có phải lỗi không, và Google có đọc dòng đó không?”
Cách kết nối hoạt động ra sao và MCP làm được gì cho cơ sở của anh chị, anh chị xem ở trang Tích hợp MCP.
08 / CÂU HỎI THƯỜNG GẶP
Câu hỏi thường gặp về robots.txt
“Disallow” có đưa một trang ra khỏi chỉ mục Google không?
Không. Disallow chỉ cấm việc truy cập trang. Nếu các trang khác có liên kết đến địa chỉ đó, Google vẫn có thể đưa nó vào kết quả tìm kiếm, nhưng không có phần mô tả. Muốn trang biến mất, Google phải được phép đọc trang và tìm thấy noindex trong thẻ meta hoặc trong X-Robots-Tag ở đó; hoặc trang trả về 404 hay 410, hoặc nằm sau mật khẩu. Chặn và noindex cùng lúc cho kết quả ngược lại: Google không bao giờ thấy noindex.
Vì sao lệnh chặn dưới “User-agent: *” của tôi không áp dụng cho Googlebot?
Vì đã có một nhóm riêng cho Googlebot. Crawler làm theo nhóm mang tên của nó, và chỉ khi không có nhóm đó mới làm theo nhóm chung “*”. Vì vậy những gì bị chặn ở nhóm chung cũng phải được ghi trong từng nhóm có tên riêng. Công cụ cho thấy ở mỗi kết quả nhóm nào đang áp dụng.
Khi Allow và Disallow cùng khớp một đường dẫn thì bên nào thắng?
Quy tắc dài hơn, tính theo số ký tự. Nếu bằng nhau thì Allow thắng, thứ tự trong file không quan trọng. Với “Disallow: /shop/” và “Allow: /shop/angebote/”, thư mục /shop/angebote/ vẫn mở, phần còn lại của shop thì không.
Khi robots.txt thay đổi thì Google áp dụng sau bao lâu?
Google thường lưu file tối đa 24 giờ, và lâu hơn nếu việc làm mới thất bại. Trong thời gian đó các quy tắc cũ vẫn có hiệu lực. Vì vậy anh chị nên kiểm tra thay đổi ở đây trước, rồi mới tải lên.
Tôi có thể bảo vệ các khu vực bí mật bằng robots.txt không?
Không. File này công khai, ai cũng mở được, và còn tiết lộ cả các đường dẫn bị chặn. Chính tiêu chuẩn cũng nói rõ: nó không thay thế việc kiểm soát truy cập. Nội dung bí mật phải nằm sau đăng nhập hoặc mật khẩu đặt trên máy chủ.
Google có làm theo Crawl-delay hoặc Noindex trong robots.txt không?
Không. Google chỉ đọc user-agent, allow, disallow và sitemap. Noindex, nofollow và crawl-delay trong robots.txt không còn tác dụng với Google từ ngày 1 tháng 9 năm 2019. Bing làm theo Crawl-delay, Yandex từ tháng 2 năm 2018 thì không còn, Applebot cũng không. Công cụ đánh dấu những dòng như vậy.
Công cụ kiểm tra robots.txt dừng lại ở đâu?
Công cụ tính trên đoạn văn bản anh chị dán vào, theo RFC 9309 và các đặc điểm đã được ghi nhận của crawler. Máy chủ của anh chị có thực sự trả về đúng file này hay không, thì Kiểm tra crawler AI (KI-Crawler-Check) xem bằng một lần truy cập thật. Các trang có nằm trong chỉ mục hay không, và nếu không thì vướng ở đâu, Quick-Check của SpotLens sẽ cho thấy. Những gì khiến trang không lên Google, chúng tôi xử lý khi anh chị yêu cầu.
09 / NGHIÊN CỨU VÀ NGUỒN
Công cụ này dựa trên những gì
Các giá trị tham khảo và lưu ý ở trên dựa trên 13 công trình khoa học này. Mỗi công trình đã được kiểm tra qua DOI hoặc trang của nhà xuất bản (lần cuối ngày 14 tháng 11 năm 2026): công trình có thật, chưa bị rút lại, và kết luận của nó đến nay vẫn đứng vững cho câu hỏi đang bàn.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), tr. 1123–1124
Kết quả Năm đợt khảo sát liên tiếp trên 7.593 website cho thấy robots.txt ngày càng được dùng nhiều. File này không cưỡng chế điều gì; chỉ các crawler tử tế mới làm theo.
Trong công cụ Là cơ sở cho lời cảnh báo phía trên mỗi kết quả: robots.txt là một lời đề nghị, không phải ổ khóa.
doi.org/10.1145/1242572.1242726 · Báo cáo hội nghị
Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), tr. 149–155
Kết quả Trong 2.925 file robots.txt, các crawler của công cụ tìm kiếm lớn thường được ưu ái qua nhóm riêng, và mức ưu ái liên quan chặt chẽ với thị phần.
Trong công cụ Vì vậy công cụ so sánh nhiều crawler cạnh nhau và cho thấy nhóm nào áp dụng cho ai: sự khác biệt phát sinh từ các nhóm có tên riêng.
doi.org/10.1109/WI.2007.98 · Báo cáo hội nghị
Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), tr. 1171–1172
Kết quả Một khảo sát trên khoảng 6 triệu website, khác với nghiên cứu nhỏ hơn năm 2007, không thấy sự ưu ái đáng kể nào dành cho một công cụ tìm kiếm cụ thể.
Trong công cụ Văn bản giải thích rằng các kết luận về sự ưu ái khác nhau tùy theo mẫu khảo sát. Vì vậy công cụ không đánh giá mà cho thấy nhóm áp dụng cho từng crawler.
doi.org/10.1145/1367497.1367711 · Báo cáo hội nghị
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), tr. 1101–1102
Phát hiện Phần lớn crawler thương mại tuân thủ quy tắc, nhưng nhiều crawler vẫn nhiều lần vi phạm hoặc hiểu sai một số quy tắc robots.txt.
Trong công cụ Vì vậy công cụ báo những dòng mà các crawler đọc khác nhau, và trình tạo chỉ viết các dòng Allow và Disallow đơn giản.
doi.org/10.1145/1772690.1772824 · Báo cáo hội nghị
Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), tr. 668–675
Kết quả Hành vi của nhiều crawler được đo bằng các trang mồi, mỗi trang mang một quy tắc robots.txt khác nhau. Mức độ tuân thủ khác nhau rất nhiều; nhiều crawler thương mại thường xuyên vi phạm một số quy tắc.
Trong công cụ Củng cố giới hạn “quy tắc không phải là hành vi”: crawler có thực sự làm theo hay không chỉ nhật ký máy chủ mới cho thấy, công cụ thì không.
doi.org/10.1109/WI-IAT.2010.316 · Báo cáo hội nghị
Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), tr. 1771–1779
Kết quả Công trình sắp xếp các hệ quả của việc crawl đối với chủ website theo chi phí, quyền riêng tư và quá tải. Một lần crawl có chấp nhận được hay không đòi hỏi nhà vận hành crawler phải đánh giá theo từng trường hợp.
Trong công cụ Giải thích vì sao công cụ chỉ dẫn đến bảo vệ bằng mật khẩu thay vì một dòng Disallow cho các khu vực bí mật.
doi.org/10.1002/asi.20388 · Tạp chí chuyên ngành
Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), tr. 991–1000
Kết quả So sánh việc theo liên kết và sitemap trên hàng tỷ địa chỉ của Google cho thấy hai cách bổ sung tốt cho nhau: sitemap đưa các trang không có liên kết đến và nội dung mới vào tầm nhìn nhanh hơn.
Trong công cụ Vì vậy công cụ liệt kê riêng các dòng Sitemap, kiểm tra xem chúng có phải địa chỉ đầy đủ không, và trình tạo viết kèm một dòng.
doi.org/10.1145/1526709.1526842 · Báo cáo hội nghị
Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), tr. 183–210
Kết quả So sánh các phương pháp phổ biến để nhận diện bot cho thấy không phương pháp nào đáng tin cậy nói chung. Một số bot hành xử xấu hoặc gây tải đáng kể cho máy chủ.
Trong công cụ Là cơ sở cho giới hạn rằng không thể nhận diện bot một cách chắc chắn: một quy tắc chỉ có tác dụng với các crawler khai báo tên của mình và làm theo nó.
doi.org/10.1007/s10618-010-0180-z · Bài tổng quan
Kim, T.; Bock, K.; Luo, C. và cs. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), tr. 541–557
Kết quả Trong các thí nghiệm có kiểm soát với 130 bot có tên trong 40 ngày, các bot ít tuân theo các quy tắc chặt hơn, và các crawler tìm kiếm AI thường không hề truy vấn robots.txt.
Trong công cụ Vì vậy ở mỗi kết quả “bị chặn” có lưu ý rằng lệnh chặn chỉ là một lời đề nghị, và ở mục “Chặn tất cả” của trình tạo có khuyến nghị thiết lập bảo vệ thật sự ở máy chủ.
doi.org/10.1145/3730567.3764471 · Báo cáo hội nghị
Longpre, S.; Mahari, R.; Lee, A. và cs. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), tr. 108042–108087
Phát hiện Một đợt kiểm tra 14.000 domain đứng sau dữ liệu huấn luyện AI cho thấy trong vòng một năm việc chặn tăng mạnh, có sự khác biệt lớn giữa các nhà cung cấp AI và thường có mâu thuẫn giữa điều khoản sử dụng và robots.txt.
Trong công cụ Vì vậy các crawler AI được chọn riêng từng cái, và với câu hỏi “có cho huấn luyện hay không” công cụ dẫn đến Kiểm tra crawler AI (KI-Crawler-Check).
doi.org/10.52202/079017-3431 · Báo cáo hội nghị
Liu, E.; Luo, E.; Shan, S. và cs. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), tr. 78–99
Kết quả Các phép đo và một khảo sát 203 nghệ sĩ cho thấy nhu cầu lớn về robots.txt, nhưng có rào cản về kiến thức và quyền truy cập vào website của chính mình. Chặn ở reverse proxy bảo vệ hiệu quả hơn.
Trong công cụ Vì vậy có trình tạo cho các trường hợp thường gặp, không dùng thuật ngữ chuyên môn, và có lưu ý nên nhờ nhà cung cấp hosting tham gia nếu muốn chặn cứng.
doi.org/10.1145/3730567.3732913 · Báo cáo hội nghị
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), tr. 29–41
Kết quả Một phép đo trên khoảng 4 triệu tên miền cho thấy: robots.txt vẫn là công cụ quan trọng nhất để cho phép hoặc cấm crawler truy cập. Các agent AI ở đó chủ yếu bị hạn chế bằng các dòng Disallow.
Trong công cụ Giải thích vì sao công cụ giữ nguyên robots.txt và kiểm tra các tên nhận dạng AI ngang hàng với công cụ tìm kiếm.
doi.org/10.1145/3831956.3831960 · Tạp chí chuyên ngành
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, tr. 197–214
Phát hiện Khoảng 1,68 phần trăm website trong một bản chụp Common Crawl đã từ chối crawler một cách rõ ràng, thường qua các nhà cung cấp hosting lớn và công cụ dựng web, từ việc chặn đến trang kiểm tra.
Trong công cụ Vì vậy có giới hạn rằng một robots.txt cho phép cũng vô ích nếu nhà cung cấp hosting hoặc lớp chống bot đã từ chối crawler từ trước.
doi.org/10.1007/978-3-031-85960-1_9 · Báo cáo hội nghị
Tiêu chuẩn, cơ quan nhà nước và thông tin của nhà sản xuất
- RFC 9309: Robots Exclusion Protocol · IETF, tháng 9 năm 2022
- How Google interprets the robots.txt specification · Google Search Central, cập nhật ngày 23 tháng 10 năm 2026
- Introduction to robots.txt · Google Search Central
- Block Search indexing with noindex · Google Search Central
- A note on unsupported rules in robots.txt · Google Search Central Blog, ngày 2 tháng 7 năm 2019
- Google common crawlers · Google Search Central
- Google special-case crawlers (AdsBot, Mediapartners) · Google Search Central
- google/robotstxt: trình phân tích robots.txt của Google (lỗi chính tả, Googlebot-Image) · Google, GitHub
- To crawl or not to crawl, that is BingBot’s question · Bing Webmaster Blog, ngày 3 tháng 5 năm 2012
- About Applebot · Apple, cập nhật ngày 4 tháng 9 năm 2026
- DuckDuckBot · DuckDuckGo
- The User-agent directive · Yandex Webmaster
- The Crawl-delay directive · Yandex Webmaster
- WordPress: do_robots() in wp-includes/functions.php · WordPress, GitHub
10 / CÔNG CỤ KHÁC
Anh chị còn thắc mắc điều gì?
- AT-W42 · Doanh nghiệp
Xem trước snippet
Trang của anh chị hiện ra thế nào trên Google? Tiêu đề và mô tả kèm độ rộng tính bằng pixel, cho máy tính và điện thoại. - AT-W43 · Doanh nghiệp
Trình tạo schema
Dữ liệu có cấu trúc cho cơ sở của anh chị: LocalBusiness, giờ mở cửa và FAQ dưới dạng JSON-LD để dán vào trang. - AT-W44 · Doanh nghiệp
Kiểm tra Hồ sơ doanh nghiệp trên Google
Hồ sơ doanh nghiệp trên Google của anh chị đã đầy đủ chưa? Những gì còn thiếu, xếp theo mức độ tác động. - AT-W45 · Doanh nghiệp
Kiểm tra NAP
Tên, địa chỉ và số điện thoại có ghi giống nhau ở mọi nơi không? So sánh các mục trong những trang danh bạ. - AT-W46 · Doanh nghiệp
Sắp xếp từ khóa
Những từ khóa nào đi cùng nhau, và người tìm kiếm muốn gì? Danh sách được xếp theo chủ đề và mục đích tìm kiếm. - AT-W47 · Cá nhân và doanh nghiệp
Kiểm tra độ dễ đọc
Bài viết của anh chị dễ hiểu đến đâu? Chỉ số dễ đọc cho tiếng Đức, có đánh dấu câu dài và từ khó.
Anh chị gửi cho chúng tôi kết quả đã sao chép. Chúng tôi kiểm tra robots.txt và sitemap của website anh chị và xử lý những gì khiến trang không lên Google, tại Rodewisch và khắp vùng Vogtland.
+49 3744 4399760[email protected]Thứ Hai–thứ Sáu, 8–17 giờ · Straße der Jugend 5, 08228 Rodewisch