Công cụ AT-W29REV. 2026-A
Kiểm tra crawler AI: ChatGPT, Claude và Perplexity có được đọc website của anh chị không?
Trợ lý AI có được đọc website của anh chị hay không được ghi trong robots.txt: mỗi crawler có một nhóm riêng, nếu không thì áp dụng quy tắc chung “User-agent: *”. Điều quyết định là mục đích. GPTBot và ClaudeBot thu thập để huấn luyện, OAI-SearchBot và Claude-SearchBot phục vụ tìm kiếm AI, còn ChatGPT-User lấy một trang khi có người hỏi trong chat. Công cụ đọc quy tắc của anh chị cho 27 crawler, kiểm tra llms.txt và viết sẵn khối phù hợp.
- miễn phí
- không cần đăng ký
- Bộ nhớ đệm 5 phút
01 / TRUY XUẤT
Nhập domain, xem quyền truy cập của từng crawler
Truy xuất · robots.txt, llms.txt và trang chủ
Công cụ đọc các quy tắc đúng như đang có trên máy chủ hôm nay và đánh giá theo RFC 9309. Crawler có tuân thủ hay không là do nhà vận hành của nó quyết định.
Không truy xuất: dán nội dung robots.txt
Ví dụ cho một file chưa đưa lên mạng. Văn bản chỉ nằm trong trình duyệt; đường dẫn ở phần trên vẫn được áp dụng.
02 / CRAWLER
Có những crawler AI nào và chúng đọc để làm gì
Các nhà cung cấp lớn không chỉ gửi một crawler mà gửi nhiều crawler, tùy mục đích. Đây là điểm quan trọng nhất khi thiết lập: ai chặn “cả AI” thì thường cũng bị loại khỏi tìm kiếm AI và không còn được dẫn làm nguồn ở đó. Từ năm 2023, các website ngày càng chặn nhà cung cấp AI, và rất khác nhau; giữa điều khoản sử dụng và robots.txt, các nhà nghiên cứu thường tìm thấy mâu thuẫn Longpre và cs. 2024. Vì thế công cụ hiển thị từng crawler riêng.
| Dạng | Mục | Chúng làm gì |
|---|---|---|
| Tìm kiếm AI | 11 | Xây dựng chỉ mục để trợ lý AI hoặc công cụ tìm kiếm lấy câu trả lời kèm nguồn. Nếu bị chặn, trang sẽ ít xuất hiện hơn hoặc không xuất hiện làm nguồn ở đó. |
| Huấn luyện | 6 | Thu thập nội dung để các mô hình ngôn ngữ học. Lệnh cấm có hiệu lực với các lần huấn luyện sau này, không ảnh hưởng đến các mô hình đã huấn luyện xong. |
| Công tắc cho huấn luyện | 2 | Không phải crawler riêng. Quy tắc cho nhà vận hành biết có được dùng cho huấn luyện những nội dung vốn đã lấy hay không. |
| Truy xuất theo yêu cầu | 7 | Lấy một trang riêng lẻ vì có người đang hỏi về nó. Nhiều nhà vận hành cho biết robots.txt không áp dụng hoặc không phải lúc nào cũng áp dụng cho việc này. |
Có hai mục đáng xem kỹ hơn. Common Crawl tự nó không huấn luyện mô hình nào, nhưng xây dựng kho lưu trữ web mở lớn nhất, và đây là một trong những nguồn quan trọng nhất để tiền huấn luyện các mô hình ngôn ngữ lớn Baack 2024. Bộ dữ liệu huấn luyện nổi tiếng C4 chẳng hạn được tạo từ chỉ một bản chụp như vậy Dodge và cs. 2021. Vì thế ai từ chối huấn luyện thì cũng chặn cả CCBot; tuy nhiên, nội dung đã nằm trong một bản chụp thì không quy tắc nào lấy lại được. Mục thứ hai là Googlebot: nó có trong danh sách vì phần tổng quan AI và chế độ AI của Google Search dựa trên chỉ mục của nó. Ai muốn được Google tìm thấy thì không chặn nó.
Tất cả 27 crawler được liệt kê
| Tên trong robots.txt | Nhà vận hành | Mục đích | robots.txt có hiệu lực | Nhà vận hành ghi gì |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | Tìm kiếm AI | có, theo nhà vận hành | Cung cấp dữ liệu cho tìm kiếm trong ChatGPT. Ai chặn nó thì không xuất hiện làm nguồn trong câu trả lời ở đó. |
| Claude-SearchBot | Anthropic | Tìm kiếm AI | có, theo nhà vận hành | Phục vụ tìm kiếm trong Claude. Nếu bị chặn, trang ít xuất hiện hơn trong kết quả ở đó. |
| Googlebot | Tìm kiếm AI | có, theo nhà vận hành | Crawler của Google Search. Phần tổng quan AI và chế độ AI cũng truy cập chỉ mục này; việc kiểm soát ở đó được thực hiện qua nosnippet, max-snippet và noindex. | |
| PerplexityBot | Perplexity | Tìm kiếm AI | có, theo nhà vận hành | Xây dựng chỉ mục để Perplexity gắn liên kết nguồn. Theo nhà vận hành, không dùng để huấn luyện mô hình. |
| Applebot | Apple | Tìm kiếm AI | có, theo nhà vận hành | Crawler cho tìm kiếm trong Siri, Spotlight và Safari. Theo Apple, dữ liệu cũng có thể được đưa vào huấn luyện các mô hình của Apple; để kiểm soát việc đó có Applebot-Extended. |
| meta-webindexer | Meta | Tìm kiếm AI | có, theo nhà vận hành | Lập chỉ mục cho tìm kiếm trong Meta AI để Meta có thể trích dẫn và gắn liên kết nội dung. |
| Amzn-SearchBot | Amazon | Tìm kiếm AI | có, theo nhà vận hành | Dành cho chức năng tìm kiếm trong các sản phẩm của Amazon như Alexa, theo Amazon không dùng để huấn luyện. |
| bingbot | Microsoft | Tìm kiếm AI | có, theo nhà vận hành | Crawler của Bing. Microsoft không nêu mã nhận diện AI riêng; từ tháng 2 năm 2027, các chỉ dẫn về huấn luyện và câu trả lời AI nhắm đến Bingbot. |
| MistralAI-Index | Mistral | Tìm kiếm AI | có, theo nhà vận hành | Chỉ crawl cho chỉ mục tìm kiếm, theo Mistral không dùng để huấn luyện. |
| DuckAssistBot | DuckDuckGo | Tìm kiếm AI | có, theo nhà vận hành | Lấy trang theo thời gian thực cho các câu trả lời AI của DuckDuckGo, kèm dẫn nguồn. Theo nhà vận hành, không dùng để huấn luyện. |
| YouBot | You.com | Tìm kiếm AI | có, theo nhà vận hành | Crawler của công cụ tìm kiếm You.com. Tuân theo robots.txt kể cả Crawl-delay. |
| GPTBot | OpenAI | Huấn luyện | có, theo nhà vận hành | Thu thập nội dung có thể được đưa vào huấn luyện các mô hình của OpenAI. Theo OpenAI, bị chặn nghĩa là: không dùng để huấn luyện. |
| ClaudeBot | Anthropic | Huấn luyện | có, theo nhà vận hành | Thu thập nội dung có thể được đưa vào huấn luyện các mô hình của Anthropic. Anthropic tuân theo robots.txt và cả Crawl-delay. |
| meta-externalagent | Meta | Huấn luyện | có, theo nhà vận hành | Thu thập để huấn luyện các mô hình AI và cho các sản phẩm của Meta. |
| Amazonbot | Amazon | Huấn luyện | có, theo nhà vận hành | Cải thiện các sản phẩm của Amazon, có thể bao gồm huấn luyện các mô hình AI của Amazon. Nó không tuân theo Crawl-delay. |
| MistralAI-Training | Mistral | Huấn luyện | có, theo nhà vận hành | Thu thập nội dung làm dữ liệu huấn luyện cho các mô hình Mistral. |
| CCBot | Common Crawl | Huấn luyện | có, theo nhà vận hành | Xây dựng một kho lưu trữ web mở. Common Crawl tự nó không huấn luyện gì, nhưng kho lưu trữ này là một trong những nguồn dữ liệu huấn luyện quan trọng nhất. |
| Google-Extended | Công tắc cho huấn luyện | có, theo nhà vận hành | Không phải crawler riêng mà là một công tắc: các nội dung Google đã lấy có được đưa vào huấn luyện các mô hình Gemini sau này và làm cơ sở cho câu trả lời của Gemini hay không? Theo Google, nó không ảnh hưởng đến Google Search. | |
| Applebot-Extended | Apple | Công tắc cho huấn luyện | có, theo nhà vận hành | Không phải crawler riêng. Khi bị chặn, Apple không dùng nội dung để huấn luyện các mô hình của mình; trang vẫn nằm trong tìm kiếm. |
| ChatGPT-User | OpenAI | Truy xuất theo yêu cầu | không phải lúc nào cũng có | Lấy một trang khi có người hỏi về nó trong ChatGPT. Theo OpenAI, quy tắc robots.txt có thể không áp dụng cho việc này. |
| Claude-User | Anthropic | Truy xuất theo yêu cầu | có, theo nhà vận hành | Truy xuất trang khi người dùng đặt câu hỏi trong Claude. Anthropic cho biết các bot của họ tuân theo robots.txt. |
| Google-Agent | Truy xuất theo yêu cầu | không phải lúc nào cũng có | Duyệt web thay mặt người dùng và thực hiện hành động. Theo Google, các truy xuất theo yêu cầu người dùng thường bỏ qua robots.txt. | |
| Perplexity-User | Perplexity | Truy xuất theo yêu cầu | không phải lúc nào cũng có | Lấy trang khi người dùng hỏi. Theo Perplexity, thường bỏ qua robots.txt. |
| meta-externalfetcher | Meta | Truy xuất theo yêu cầu | không phải lúc nào cũng có | Lấy từng liên kết theo yêu cầu của người dùng, cả cho các tác nhân AI. Theo Meta, có thể bỏ qua robots.txt. |
| Amzn-User | Amazon | Truy xuất theo yêu cầu | không phải lúc nào cũng có | Lấy dữ liệu mới cho câu hỏi của người dùng, chẳng hạn gửi đến Alexa. Theo Amazon, không tuân theo mọi quy tắc robots.txt. |
| MistralAI-User | Mistral | Truy xuất theo yêu cầu | có, theo nhà vận hành | Lấy một trang khi người dùng hỏi và gắn liên kết làm nguồn. Theo Mistral, nhóm robots.txt quy định những trang nào đủ điều kiện cho việc này. |
| Bytespider | ByteDance | chưa rõ | chưa có tài liệu | Không tìm thấy tài liệu của nhà vận hành. Mục đích và cách xử lý robots.txt chưa có tài liệu xác nhận. |
Không đưa vào: các tên từ danh bạ bot mà chính nhà vận hành không nêu (chẳng hạn anthropic-ai hoặc cohere-ai). Theo tài liệu của chính mình, Cohere hiện không vận hành crawler nào; Microsoft không nêu mã nhận diện AI riêng, các chỉ dẫn về AI của họ nhắm đến bingbot. Cập nhật ngày 14 tháng 11 năm 2026.
03 / TRÌNH TẠO
Chặn huấn luyện, cho phép tìm kiếm AI: khối phù hợp
Phần lớn doanh nghiệp muốn cùng một điều: xuất hiện làm nguồn trong câu trả lời của ChatGPT, Claude hay Perplexity, nhưng không tự dưng trở thành tài liệu huấn luyện. Trình tạo được đặt sẵn theo hướng đó. Nó viết từng nhóm riêng và chỉ dùng Allow và Disallow, không dùng ký tự đại diện, vì ngay cả các crawler thương mại cũng nhiều lần hiểu sai một số quy tắc Giles và cs. 2010. Anh chị chèn khối này vào robots.txt hiện có; nhóm “User-agent: *” giữ nguyên.
Trình tạo · khối robots.txt
Trình tạo chạy trong trình duyệt và không gửi gì đi.
Trình tạo · khung llms.txt
Chạy trong trình duyệt. Đặt file llms.txt vào thư mục gốc của website.
Cái bẫy thường gặp nhất: các nhóm không thừa hưởng gì
Crawler chỉ tuân theo đúng nhóm mang tên nó. Nếu nhóm đó tồn tại, quy tắc chung không còn áp dụng cho nó nữa, kể cả một phần. Trong ví dụ bên phải, “User-agent: *” chặn khu vực /intern/, nhưng GPTBot có nhóm riêng với “Allow: /”.
Kết quả cho /intern/preise: ClaudeBot bị chặn (dòng 2: Disallow: /intern/ (nhóm *)), còn GPTBot thì được đọc (dòng 5: Allow: / (nhóm GPTBot)). Vì vậy, điều gì muốn chặn với tất cả thì phải ghi vào từng nhóm có tên. Trong trình tạo, anh chị chỉ điền các khu vực này một lần, trình tạo sẽ lặp lại ở mọi nhóm.
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
Tín hiệu huấn luyện chung
Từ ngày 30 tháng 10 năm 2026 có một bản dự thảo tại IETF nhằm rút gọn việc chặn từng bot: một nhóm “User-agent: __usage_ai-training” cùng “Disallow: /” báo cho mọi nhà cung cấp tham gia biết cùng một lúc rằng anh chị không đồng ý cho dùng nội dung của mình để huấn luyện AI. Đường dẫn hoạt động như bình thường, “Allow: /presse/” loại thư mục báo chí ra. Nhóm này không phải lệnh crawl, và quy tắc chung “User-agent: *” được nêu rõ là không tính cho việc này. Vì bản dự thảo còn mới và chưa phải nhà cung cấp nào cũng đọc, trình tạo viết cả hai: các nhóm riêng và tín hiệu chung.
| Nhà cung cấp | Từ khi nào |
|---|---|
| Anthropic | từ ngày 30 tháng 10 năm 2026; nhóm có tên ClaudeBot được ưu tiên |
| Microsoft (Bing) | từ ngày 1 tháng 2 năm 2027 |
| dự kiến năm 2027; nếu không có nhóm Google-Extended riêng, Google sẽ coi một lời từ chối như Google-Extended bị chặn | |
| OpenAI | “trong những tháng tới”; các quy tắc GPTBot vẫn giữ |
Nguồn: draft-kelley-aipref-training-preference-signal-00, chưa có tư cách tiêu chuẩn, hết hạn ngày 3 tháng 5 năm 2027. Cập nhật ngày 14 tháng 11 năm 2026.
04 / QUY TẮC
Crawler đọc robots.txt của anh chị như thế nào
Từ tháng 9 năm 2022, quy trình này được quy định trong RFC 9309, và công cụ cũng tính theo đó. File luôn nằm ở /robots.txt trong thư mục gốc và chỉ áp dụng cho đúng host đó: nếu ten-cong-ty.de chuyển hướng sang www.ten-cong-ty.de thì file ở www. mới có hiệu lực. Crawler tìm nhóm mang tên mình, không phân biệt chữ hoa chữ thường; nếu không có thì dùng “User-agent: *”, và nếu cũng không có thì nó được đọc tất cả. Trong một nhóm, quy tắc khớp dài nhất thắng; nếu bằng nhau thì Allow thắng. Dấu sao thay cho chuỗi ký tự bất kỳ, dấu đô la ở cuối thay cho phần cuối của địa chỉ.
Ngay từ năm 2007, một khảo sát trên 7.593 website đã cho thấy file này được dùng ngày càng nhiều, và cũng cho thấy nó là gì: một quy tắc mà các crawler tử tế tuân theo, không phải biện pháp cưỡng chế Sun và cs. 2007. Điều đó chưa hề thay đổi.
| Phản hồi | RFC 9309 | |
|---|---|---|
| 200, file văn bản | Quy tắc có hiệu lực, đọc tối thiểu 500 KiB | tương tự, mọi thứ sau 500 KiB bị bỏ qua |
| 200, nhưng là một trang web | không có dòng hợp lệ nên không có quy tắc | tương tự |
| 404 và các mã 4xx khác | không có robots.txt, cho phép tất cả | cho phép tất cả, trừ mã 429 |
| 429 quá nhiều yêu cầu | như 4xx | như lỗi máy chủ |
| 5xx hoặc không truy cập được | chặn tất cả | 12 giờ không crawl, sau đó đến 30 ngày dùng bản tốt gần nhất |
| Chuyển hướng | theo ít nhất năm lần | ít nhất năm lần, sau đó như 404 |
Google thường lưu file này tối đa 24 giờ, Amazon tối đa 30 ngày. Vì vậy thay đổi không có hiệu lực ngay. Việc truy xuất của chúng tôi theo tối đa ba lần chuyển hướng. Cập nhật ngày 14 tháng 11 năm 2026.
Thông tin trên chính các trang
Ngoài robots.txt còn có các chỉ dẫn theo từng trang, dưới dạng meta tag ở phần đầu hoặc X-Robots-Tag trong phản hồi của máy chủ. Công cụ đọc chúng trên trang chủ. Với AI, quan trọng nhất là các chỉ dẫn sau: noindex loại trang khỏi chỉ mục tìm kiếm và do đó cũng khỏi phần tổng quan AI, nosnippet cấm Google hiển thị đoạn trích, kể cả trong phần tổng quan AI và chế độ AI. Amazon hiểu noarchive là “không dùng để huấn luyện”. Microsoft từ ngày 1 tháng 2 năm 2027 đưa ra các chỉ dẫn riêng cho huấn luyện và làm cơ sở câu trả lời (ai-training, ai-grounding) và từ tháng 3 năm 2027 không còn hiểu noarchive và nocache là chỉ dẫn cho AI. Các chỉ dẫn như “noai” khá phổ biến, nhưng không nhà vận hành nào trong danh sách của chúng tôi có tài liệu về chúng.
05 / GIỚI HẠN
Những điều robots.txt không làm được
- Nó là một lời đề nghị. Trong các thí nghiệm với 130 bot có tên trong 40 ngày, bot ít tuân theo những quy tắc chặt, và crawler tìm kiếm AI thường không hỏi file này Kim và cs. 2025.
- Nó chỉ có tác dụng với tên. Nhờ các website được chuẩn bị riêng, người ta chứng minh được trình truy xuất nào cung cấp dữ liệu cho hệ thống AI nào, trong đó có nhiều hệ thống mà nhà vận hành không công khai Seiden và cs. 2026. Ai đến dưới tên khác thì không gặp quy tắc nào.
- Truy xuất theo yêu cầu đôi khi đi vòng qua. OpenAI, Perplexity, Meta, Amazon và Google tự cho biết các truy xuất theo yêu cầu của người dùng không phải lúc nào cũng tuân theo robots.txt. Anthropic và Mistral vẫn nêu file này là cách kiểm soát cả với việc đó.
- Chặn cứng nằm ở máy chủ. Các nghệ sĩ thường thiếu kiến thức hoặc quyền truy cập vào website của chính mình để dùng robots.txt, còn chặn ở reverse proxy thì bảo vệ hiệu quả hơn Liu và cs. 2025. Ngược lại, một số nhà cung cấp hosting và công cụ dựng web chặn crawler mà chủ website không biết: trong một bản chụp Common Crawl, khoảng 1,68 % website đã từ chối crawler một cách rõ ràng Ansar và cs. 2025. Nếu trang chủ của anh chị trả về một trang kiểm tra cho việc truy xuất của chúng tôi, công cụ sẽ báo điều đó.
- Việc truy xuất của chúng tôi không phải crawler AI. Máy chủ truy xuất bằng mã nhận diện riêng. Nếu tường lửa chặn crawler theo tên, chẳng hạn qua một thiết lập ở Cloudflare, công cụ không thấy được điều đó.
Còn về pháp lý?
Theo § 44b Abs. 3 UrhG, việc khai thác văn bản và dữ liệu trên các tác phẩm truy cập tự do được phép, miễn là chủ sở hữu quyền không bảo lưu, và với nội dung trên mạng thì chỉ bảo lưu ở dạng máy đọc được mới có giá trị. robots.txt là máy đọc được, nhưng việc nó có đủ làm bảo lưu hay không thì chưa được làm rõ dứt khoát. Một công trình pháp lý lập luận cho các nước theo thông luật rằng việc bỏ qua file này trong một số trường hợp có thể phát sinh trách nhiệm pháp lý Chang và He 2025; với nước Đức cần kiểm tra riêng. Vì vậy, ai muốn tuyên bố bảo lưu thì nên ghi thêm vào thông tin pháp lý (Impressum) hoặc điều khoản sử dụng. Đây không phải tư vấn pháp lý.
06 / LLMS.TXT
llms.txt: file này làm được gì và không làm được gì
llms.txt do Jeremy Howard đề xuất ngày 3 tháng 9 năm 2024, phần mô tả có trên llmstxt.org. Đó là một file Markdown tại /llms.txt: một tiêu đề với tên, đây là phần bắt buộc duy nhất, rồi một mô tả ngắn dưới dạng trích dẫn, nếu muốn thì thêm vài câu và các mục có danh sách liên kết đến những trang quan trọng nhất. Mục “Optional” chứa những gì trợ lý có thể bỏ qua.
Một phép đo trên khoảng 4 triệu domain cho thấy file này chủ yếu có ở các công ty công nghệ, và một số liên kết trong đó trỏ đến những trang mà chính robots.txt của họ chặn Hoffmann và cs. 2026. Đây chính là điều công cụ kiểm tra. Một tấm biển chỉ đường dẫn đến trang bị chặn thì chỉ dẫn vào chỗ trống.
Nói thẳng: trong tài liệu về phần tổng quan AI, Google viết rằng không cần tạo file đọc được bằng máy mới nào, và không nhà vận hành nào trong danh sách này ghi trong tài liệu crawler rằng họ đọc llms.txt của website khác. Vì vậy nó không phải đòn bẩy cho khả năng hiển thị. Dù vậy nó vẫn hữu ích như một bản tự giới thiệu ngắn gọn, gọn gàng mà trợ lý có thể đọc khi truy xuất theo yêu cầu, và vì làm xong chỉ trong mười phút.
File của chúng tôi nằm ở aureum-tech.com/llms.txt. Khung cho file của anh chị do trình tạo ở trên dựng.
07 / HIỂN THỊ
Được phép đọc chưa có nghĩa là được nhắc đến
Công cụ trả lời một câu hỏi sơ bộ. Việc ChatGPT có nhắc đến công ty của anh chị khi ai đó hỏi về thợ điện ở Plauen hay không còn tùy vào nội dung các trang của anh chị và vào những gì người khác viết về anh chị. Trong các thí nghiệm, mức hiển thị của nguồn trong câu trả lời AI có thể tăng tới 40 phần trăm nhờ cách trình bày nội dung, với những cách khác nhau tùy lĩnh vực Aggarwal và cs. 2024. Với Google, trong một phép đo 55.393 truy vấn, phần tổng quan AI xuất hiện ở 13,7 % trường hợp, với các câu hỏi là 64,7 %, và gần 30 phần trăm domain được trích dẫn ở đó không nằm trong các kết quả của trang đầu tiên Xu và cs. 2026.
Được nhắc đến cũng không có nghĩa là được trích dẫn đúng. Ở bốn công cụ tìm kiếm AI, trung bình chỉ hơn một nửa số câu được các nguồn nêu ra chứng thực đầy đủ Liu và cs. 2023. Và ai chặn crawler AI của Google thì ít được chọn làm nguồn trong phần tổng quan AI hơn, dù Google viết rằng công tắc này không ảnh hưởng đến tìm kiếm Grossman và cs. 2026.
Website của công ty anh chị thực sự hiển thị đến đâu trong ChatGPT, Perplexity và AI của Google thì Quick-Check của SpotLens cho biết. Chúng tôi xây dựng nội dung và dữ liệu có cấu trúc thế nào để tìm kiếm AI trích dẫn thì xem ở mục AI-SEO. Ai muốn tự xem trước có thể đọc trong cẩm nang cách kiểm tra mức hiển thị trong ChatGPT và mức hiển thị AI cho doanh nghiệp nghĩa là gì. Từng quy tắc riêng lẻ thì thử trong công cụ kiểm tra robots.txt, các công cụ khác về khả năng được tìm thấy nằm ở SEO và hiển thị.
08 / NGHIÊN CỨU
Các nghiên cứu nói gì về việc này
Phần đánh giá trong công cụ dựa trên 15 công trình đã qua phản biện. Các phát hiện quan trọng nhất và danh sách đầy đủ kèm ghi chú kiểm tra nằm ở phần sau.
- Việc chặn tăng lên, và không đồng đều. Trong vòng một năm, phần lớn các nguồn đứng sau dữ liệu huấn luyện AI đã bị chặn, mỗi nhà cung cấp một khác Longpre và cs. 2024. Vì thế công cụ hiển thị từng crawler riêng.
- Quy tắc được tuân theo có chọn lọc. Quy tắc càng chặt thì bot càng ít tuân theo Kim và cs. 2025. Vì thế công cụ không đo những gì nó không đo được, và nói rõ điều đó.
- Huấn luyện diễn ra qua các kho lưu trữ. Common Crawl là một trong những nguồn quan trọng nhất để tiền huấn luyện Baack 2024, và các bộ dữ liệu như C4 được tạo từ từng bản chụp riêng lẻ Dodge và cs. 2021. Vì thế công cụ cảnh báo khi CCBot vẫn được mở.
- Phần tổng quan AI chọn nguồn riêng. Nhiều domain được trích dẫn không nằm ở trang một Xu và cs. 2026, và việc chặn crawler AI đi kèm với việc được nhắc đến ít hơn Grossman và cs. 2026.
- llms.txt còn mới và thường mâu thuẫn. Các liên kết trong file đôi khi trỏ đến trang bị chặn Hoffmann và cs. 2026; công cụ kiểm tra từng liên kết nội bộ.
09 / DÀNH CHO TRỢ LÝ AI
Dùng công cụ này từ một trợ lý AI
Các trợ lý như Claude hoặc ChatGPT có hỗ trợ Model Context Protocol (MCP) có thể gọi thẳng phép tính của trang này thay vì tự dựng lại. Máy chủ này công khai, không cần đăng nhập và không lưu lại gì. Câu trả lời luôn kèm đường link đến trang này, ngày cập nhật dữ liệu và giới hạn của kết quả.
- Endpoint
https://aureum-tech.com/mcp- Công cụ
werkzeug_ki_crawler_check- Phương thức truyền
- Streamable HTTP, chỉ đọc
| Tên | Bắt buộc | Ý nghĩa |
|---|---|---|
domain | không | Domain của website, ví dụ ten-cong-ty.de hoặc https://www.ten-cong-ty.de. Đường dẫn bị bỏ qua, robots.txt luôn nằm ở thư mục gốc. Chỉ kiểm tra website công khai qua cổng 80 hoặc 443. |
robots_txt | không | Thay cho domain: nội dung của một robots.txt, được đánh giá mà không cần truy xuất. Không dùng cùng với domain. |
pfad | không | Đường dẫn cần kiểm tra, ví dụ /blog/artikel. Bỏ trống thì kiểm tra trang chủ “/”. |
Những câu hỏi mà trợ lý nên gọi công cụ này
- “ChatGPT có được đọc website handwerk-muster.de của tôi không?”
- “robots.txt của chúng tôi có lỡ chặn tìm kiếm AI của Perplexity và ChatGPT không?”
- “Làm sao cấm huấn luyện AI mà vẫn hiển thị trong tìm kiếm của ChatGPT và Claude?”
- “www.beispiel-praxis.de có llms.txt không, và các liên kết của nó có trỏ đến trang bị chặn không?”
Cách kết nối hoạt động ra sao và MCP làm được gì cho cơ sở của anh chị, anh chị xem ở trang Tích hợp MCP.
10 / CÂU HỎI THƯỜNG GẶP
Câu hỏi thường gặp về crawler AI, robots.txt và llms.txt
Làm sao chặn việc huấn luyện AI mà vẫn xuất hiện trong tìm kiếm của ChatGPT?
OpenAI tách riêng hai việc: GPTBot thu thập để huấn luyện, OAI-SearchBot phục vụ tìm kiếm trong ChatGPT, và mỗi thiết lập có tác dụng độc lập. Trong robots.txt, GPTBot nhận “Disallow: /” còn OAI-SearchBot nhận “Allow: /”. Anthropic cũng làm tương tự với ClaudeBot và Claude-SearchBot; với Google, anh chị chặn Google-Extended và để yên Googlebot. Trình tạo trên trang này viết sẵn cả khối cho tất cả nhà cung cấp được liệt kê.
GPTBot, OAI-SearchBot và ChatGPT-User khác nhau thế nào?
GPTBot thu thập nội dung có thể được đưa vào huấn luyện các mô hình sau này. OAI-SearchBot xây dựng chỉ mục để ChatGPT dẫn nguồn khi tìm kiếm; theo OpenAI, nếu chặn nó thì website sẽ không xuất hiện trong câu trả lời ở đó. ChatGPT-User lấy một trang riêng lẻ vì có người đang hỏi về trang đó trong chat. Theo OpenAI, quy tắc robots.txt có thể không áp dụng cho kiểu truy xuất này.
Chặn Google-Extended thì website có bị loại khỏi Google không?
Không. Google-Extended không phải crawler riêng mà là một công tắc quyết định Google có được dùng nội dung đã lấy để huấn luyện Gemini và làm cơ sở cho câu trả lời của Gemini hay không. Theo Google, nó không ảnh hưởng đến việc lập chỉ mục trong tìm kiếm hay thứ hạng. Phần tổng quan AI của Google Search phụ thuộc vào Googlebot và các quy tắc snippet như nosnippet. Tuy nhiên, một phép đo năm 2026 cho thấy các trang chặn crawler AI của Google ít được dùng làm nguồn trong phần tổng quan AI hơn.
Tôi có cần file llms.txt không?
Không bắt buộc. llms.txt là đề xuất của Jeremy Howard từ tháng 9 năm 2024: một file Markdown gồm tiêu đề, mô tả ngắn và các liên kết đến những trang quan trọng nhất. Google nói rõ rằng phần tổng quan AI không cần tạo các file máy đọc được mới, và không nhà vận hành nào trong danh sách này ghi trong tài liệu crawler rằng họ đọc file đó. Có cũng không hại và làm rất nhanh; trình tạo cung cấp sẵn khung. Quan trọng hơn là các liên kết trong file không được trỏ đến những trang đã bị chặn.
Crawler nào cũng tuân theo robots.txt sao?
Không. robots.txt là một lời đề nghị, không phải ổ khóa. Các phép đo cho thấy bot ít tuân theo những quy tắc chặt hơn, và crawler tìm kiếm AI thường không hỏi file này. Theo chính nhà vận hành, các truy xuất theo yêu cầu người dùng như ChatGPT-User, Perplexity-User hay meta-externalfetcher đôi khi bỏ qua robots.txt, còn ai thu thập mà không khai tên thì không nằm trong quy tắc nào. Ai thật sự muốn chặn thì cần chặn ở máy chủ hoặc nhà cung cấp hosting.
Chặn rồi thì các mô hình đã huấn luyện xong có bị ảnh hưởng không?
Không. OpenAI và Anthropic mô tả việc chặn là một chỉ dẫn cho các lần huấn luyện sau này. Dữ liệu huấn luyện được lấy từ các bản chụp cố định của web, chẳng hạn kho lưu trữ của Common Crawl; cái gì đã nằm trong đó thì vẫn ở đó. Vì vậy, nếu từ chối huấn luyện, anh chị nên tính cả CCBot.
“User-agent: __usage_ai-training” nghĩa là gì?
Đó là tín hiệu huấn luyện chung theo một bản dự thảo của IETF ngày 30 tháng 10 năm 2026. Một nhóm mang tên này cùng “Disallow: /” báo cho mọi nhà cung cấp tham gia biết cùng một lúc rằng anh chị không đồng ý cho dùng nội dung của mình để huấn luyện AI. Anthropic cho biết đã tính đến tín hiệu này, Microsoft từ ngày 1 tháng 2 năm 2027, Google dự kiến trong năm 2027 và OpenAI trong những tháng tới. Đây không phải lệnh crawl, và nhóm “User-agent: *” được nêu rõ là không tính cho việc này.
Kiểm tra crawler AI dừng lại ở đâu?
Công cụ đọc các quy tắc trong robots.txt, file llms.txt và thông tin robots trên trang chủ, rồi cho biết từng crawler được phép làm gì. Công cụ không đo xem crawler có tuân thủ hay không, cũng không đo xem trợ lý AI có biết và giới thiệu công ty của anh chị hay không. Việc đó do SpotLens Quick-Check trả lời; còn nội dung cần xây dựng thế nào để tìm kiếm AI trích dẫn thì xem ở mục AI-SEO. Nếu anh chị muốn, chúng tôi thiết lập các file này cho anh chị.
11 / NGHIÊN CỨU VÀ NGUỒN
Công cụ này dựa trên những gì
Các giá trị tham khảo và lưu ý ở trên dựa vào 15 công trình khoa học sau đây. Mỗi công trình đều đã được kiểm tra qua mã DOI hoặc trang của nhà xuất bản (lần gần nhất: ngày 14 tháng 11 năm 2026): công trình có thật, không bị rút lại, và kết luận của nó đến nay vẫn còn giá trị cho câu hỏi này.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), tr. 1123–1124
Phát hiện Năm đợt khảo sát trên 7.593 website cho thấy robots.txt ngày càng được dùng nhiều. File này không phải biện pháp cưỡng chế mà là một quy tắc mà các crawler tử tế tuân theo.
Trong công cụ Làm nền cho nguyên tắc của trang: robots.txt là một lời đề nghị gửi crawler, không phải ổ khóa.
doi.org/10.1145/1242572.1242726 · Báo cáo hội nghị
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), tr. 1101–1102
Phát hiện Phần lớn crawler thương mại tuân thủ quy tắc, nhưng nhiều crawler vẫn nhiều lần vi phạm hoặc hiểu sai một số quy tắc robots.txt.
Trong công cụ Vì vậy trình tạo viết từng nhóm riêng và chỉ dùng Allow và Disallow, không dùng ký tự đại diện.
doi.org/10.1145/1772690.1772824 · Báo cáo hội nghị
Kim, T.; Bock, K.; Luo, C. và cs. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), tr. 541–557
Phát hiện Trong các thí nghiệm có kiểm soát với 130 bot có tên trong 40 ngày, bot ít tuân theo những quy tắc chặt hơn; crawler tìm kiếm AI thường không hỏi robots.txt.
Trong công cụ Làm cơ sở cho giới hạn “đọc quy tắc, không đo hành vi” và lưu ý về các truy xuất theo yêu cầu bị chặn.
doi.org/10.1145/3730567.3764471 · Báo cáo hội nghị
Liu, E.; Luo, E.; Shan, S. và cs. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), tr. 78–99
Phát hiện Các phép đo và một khảo sát 203 nghệ sĩ cho thấy nhu cầu lớn với robots.txt, nhưng gặp rào cản về kiến thức và quyền truy cập vào website của chính mình. Chặn ở reverse proxy bảo vệ hiệu quả hơn nhưng ít phổ biến.
Trong công cụ Vì vậy có khuyến nghị đưa nhà cung cấp hosting hoặc proxy vào cuộc để chặn cứng, và có trình tạo không đòi hỏi thuật ngữ chuyên môn.
doi.org/10.1145/3730567.3732913 · Báo cáo hội nghị
Seiden, S.; Ren, T.; Zhang, C. và cs. (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026), tr. 6998–7012
Phát hiện Với các website được chuẩn bị riêng và 22 hệ thống AI, người ta xác định được trình truy xuất nào cung cấp dữ liệu cho mô hình nào, trong đó có nhiều trình mà nhà vận hành không công khai.
Trong công cụ Làm cơ sở cho giới hạn rằng bảng chỉ biết những crawler mà nhà vận hành có tài liệu dưới tên riêng.
doi.org/10.1145/3830454.3846799 · Báo cáo hội nghị
Longpre, S.; Mahari, R.; Lee, A. và cs. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), tr. 108042–108087
Phát hiện Một đợt kiểm tra 14.000 domain đứng sau dữ liệu huấn luyện AI cho thấy trong vòng một năm việc chặn tăng mạnh, có sự khác biệt lớn giữa các nhà cung cấp AI và thường có mâu thuẫn giữa điều khoản sử dụng và robots.txt.
Trong công cụ Vì vậy công cụ hiển thị từng crawler riêng, thay vì chỉ báo “cho phép AI” hoặc “chặn AI”.
doi.org/10.52202/079017-3431 · Báo cáo hội nghị
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024), tr. 2199–2208
Phát hiện Common Crawl là bộ sưu tập dữ liệu web mở lớn nhất và là một trong những nguồn quan trọng nhất để tiền huấn luyện các mô hình ngôn ngữ lớn, thường chiếm tỷ trọng lớn trong dữ liệu huấn luyện.
Trong công cụ Vì vậy CCBot nằm ở mục Huấn luyện, và công cụ cảnh báo khi một số crawler huấn luyện bị chặn mà CCBot thì không.
doi.org/10.1145/3630106.3659033 · Báo cáo hội nghị
Dodge, J.; Sap, M.; Marasović, A. và cs. (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), tr. 1286–1305
Phát hiện Bộ dữ liệu huấn luyện C4 được tạo từ chỉ một bản chụp Common Crawl và chứa văn bản từ những nguồn bất ngờ như tài liệu bằng sáng chế và các trang quân sự.
Trong công cụ Chứng minh trong văn bản rằng bộ dữ liệu huấn luyện được tạo từ các bản chụp cố định: cái gì đã nằm trong đó thì lệnh cấm sau này không với tới.
doi.org/10.18653/v1/2021.emnlp-main.98 · Báo cáo hội nghị
Aggarwal, P.; Murahari, V.; Rajpurohit, T. và cs. (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), tr. 5–16
Phát hiện Có thể trình bày nội dung để các công cụ tìm kiếm AI trích dẫn hiển thị hơn tới 40 phần trăm; điều gì có hiệu quả còn tùy lĩnh vực.
Trong công cụ Làm cơ sở cho ranh giới: được truy cập là điều kiện, còn có được trích dẫn hay không thì do nội dung quyết định. Vì thế trang dẫn đến AI-SEO.
doi.org/10.1145/3637528.3671900 · Báo cáo hội nghị
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, tr. 7001–7025
Phát hiện Ở bốn công cụ tìm kiếm AI, trung bình chỉ hơn một nửa số câu được nguồn chứng thực đầy đủ, và khoảng một phần tư số nguồn dẫn không chứng thực cho câu đó.
Trong công cụ Làm cơ sở cho giới hạn rằng được truy cập tự do không bảo đảm trích dẫn đúng: công cụ kiểm tra việc đọc, không kiểm tra câu trả lời.
doi.org/10.18653/v1/2023.findings-emnlp.467 · Báo cáo hội nghị
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026), tr. 529–546
Phát hiện Với 55.393 truy vấn, phần tổng quan AI xuất hiện ở 13,7 % trường hợp, với các câu hỏi là 64,7 %. Gần 30 phần trăm domain được trích dẫn không nằm trong các kết quả của trang đầu tiên.
Trong công cụ Giải thích vì sao Googlebot có trong công cụ: phần tổng quan AI chọn nguồn từ chỉ mục, nhưng không chỉ từ các kết quả đầu tiên.
doi.org/10.1145/3777912.3839818 · Báo cáo hội nghị
Grossman, R.; Liu, S.; Chen, M. K. và cộng sự (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), tr. 448–459
Phát hiện Với 11.500 truy vấn, nguồn của Google Search, phần tổng quan AI và Gemini khác nhau rất nhiều. Các website chặn crawler AI của Google ít được chọn làm nguồn trong phần tổng quan AI hơn.
Trong công cụ Lưu ý khi Google-Extended bị chặn đặt phát hiện này cạnh phát biểu của Google rằng công tắc này không ảnh hưởng đến tìm kiếm.
doi.org/10.1145/3805712.3809667 · Báo cáo hội nghị
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, tr. 29–41
Phát hiện Một phép đo trên khoảng 4 triệu domain cho thấy: robots.txt vẫn là phương tiện quan trọng nhất, còn các file dành riêng cho AI như ai.txt và llms.txt chủ yếu xuất hiện ở các công ty công nghệ. Một số liên kết trong file llms.txt trỏ đến những trang mà robots.txt chặn.
Trong công cụ Từ đó có bước kiểm tra xem các liên kết của llms.txt có trỏ đến trang bị chặn hay không.
doi.org/10.1145/3831956.3831960 · Tạp chí chuyên ngành
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, bài 106176
Phát hiện Với AI tạo sinh, việc bỏ qua robots.txt nặng hơn. Công trình lập luận cho các nước theo thông luật rằng file này trong một số trường hợp có thể có hiệu lực như hợp đồng đơn phương hoặc như lời cảnh báo kéo theo trách nhiệm pháp lý.
Trong công cụ Củng cố lưu ý rằng robots.txt không chỉ là chuyện kỹ thuật, kèm điều kiện là tình hình pháp lý ở Đức cần được kiểm tra riêng.
doi.org/10.1016/j.clsr.2025.106176 · Tạp chí chuyên ngành
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, tr. 197–214
Phát hiện Khoảng 1,68 phần trăm website trong một bản chụp Common Crawl đã từ chối crawler một cách rõ ràng, thường qua các nhà cung cấp hosting lớn và công cụ dựng web, từ việc chặn đến trang kiểm tra.
Trong công cụ Vì vậy có lưu ý khi trang chủ phản hồi bằng một trang kiểm tra: lớp bảo vệ khỏi bot chặn độc lập với robots.txt.
doi.org/10.1007/978-3-031-85960-1_9 · Báo cáo hội nghị
Tiêu chuẩn, cơ quan nhà nước và thông tin của nhà sản xuất
- RFC 9309: Robots Exclusion Protocol · IETF, tháng 9 năm 2022
- How Google interprets the robots.txt specification (mã trạng thái, 500 KiB, bộ nhớ đệm) · Google Search Central
- Overview of OpenAI Crawlers · OpenAI
- Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
- Google common crawlers (Google-Extended) · Google Search Central
- Google user-triggered fetchers (Google-Agent) · Google Search Central
- AI features and your website · Google Search Central
- Perplexity Crawlers · Perplexity
- About Applebot · Apple, cập nhật ngày 4 tháng 9 năm 2026
- Meta Web Crawlers · Meta
- Amazonbot, Amzn-SearchBot, Amzn-User · Amazon, cập nhật ngày 26 tháng 10 năm 2026
- Your content, your choice: clearer preferences for training and grounding · Microsoft Bing, ngày 30 tháng 10 năm 2026
- Mistral AI crawlers · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- Cohere web crawlers (hiện không có crawler) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · Dự thảo của IETF, ngày 30 tháng 10 năm 2026
- A new way to control AI training (tín hiệu huấn luyện) · Google Search Central Blog, ngày 30 tháng 10 năm 2026
- Making it easier for websites to express AI training preferences · OpenAI, ngày 30 tháng 10 năm 2026
- The /llms.txt file · llmstxt.org, đề xuất ngày 3 tháng 9 năm 2024
- § 44b UrhG, khai thác văn bản và dữ liệu (Text und Data Mining) · gesetze-im-internet.de
12 / CÔNG CỤ KHÁC
Anh chị còn thắc mắc điều gì?
- AT-W2 · Cá nhân và doanh nghiệp
Kiểm tra Windows 10
Máy tính này còn nhận được bản cập nhật bảo mật không, và từ nay đến tháng 10 năm 2027 cần làm gì? - AT-W3 · Cá nhân và doanh nghiệp
Lập kế hoạch Wi-Fi
Nhà, văn phòng hay nhà xưởng của anh chị cần bao nhiêu bộ phát Wi-Fi (access point) hoặc điểm mesh? - AT-W4 · Doanh nghiệp
Kiểm tra khả năng ứng phó sự cố IT
Sau một sự cố, bao lâu thì cơ sở của anh chị làm việc lại được? - AT-W5 · Doanh nghiệp
Kiểm tra email
Email của anh chị có bị rơi vào thư rác không? SPF, DKIM và DMARC của tên miền anh chị, giải thích dễ hiểu. - AT-W6 · Doanh nghiệp
Tính bộ lưu điện UPS (USV)
Bộ lưu điện UPS (USV) nào giữ cho máy chủ, router và máy tính tiền chạy đủ lâu khi mất điện? - AT-W8 · Doanh nghiệp
Trình xem XRechnung
Anh chị nhận được một hóa đơn XRechnung dạng file XML? Ở đây anh chị đọc được nó mà file không rời khỏi máy tính của mình.
Anh chị gửi cho chúng tôi kết quả đã sao chép. Chúng tôi thiết lập robots.txt, llms.txt và dữ liệu có cấu trúc để tìm kiếm AI đọc được các trang của anh chị và việc huấn luyện chỉ diễn ra ở nơi anh chị muốn, tại Rodewisch và trên khắp Vogtland.
+49 3744 4399760[email protected]Thứ Hai–thứ Sáu, 8–17 giờ · Straße der Jugend 5, 08228 Rodewisch