Инструмент AT-W29РЕД. 2026-A
Проверка ИИ-краулеров: могут ли ChatGPT, Claude и Perplexity читать ваш сайт?
Может ли ИИ-ассистент читать ваш сайт, написано в robots.txt: для каждого краулера своя группа, иначе действует общее правило «User-agent: *». Решает цель. GPTBot и ClaudeBot собирают данные для обучения, OAI-SearchBot и Claude-SearchBot работают на ИИ-поиск, а ChatGPT-User загружает страницу, когда кто-то спрашивает в чате. Проверка читает ваши правила для 27 краулеров, смотрит llms.txt и пишет подходящий блок.
- бесплатно
- без регистрации
- 5 минут в кэше
01 / ЗАПРОС
Введите домен и посмотрите доступ по каждому краулеру
Запрос · robots.txt, llms.txt и главная страница
Проверка читает правила в том виде, в каком они сегодня лежат на сервере, и оценивает их по RFC 9309. Соблюдает ли краулер эти правила, решает его оператор.
Без запроса: вставить текст robots.txt
Например, для файла, которого еще нет в сети. Текст остается в браузере; действует путь, указанный выше.
02 / КРАУЛЕРЫ
Какие бывают ИИ-краулеры и зачем они читают сайты
Крупные операторы присылают не один краулер, а несколько, в зависимости от цели. Это главное, что нужно знать при настройке: кто закрывает сайт от «ИИ» целиком, тот, как правило, пропадает и из ИИ-поиска и больше не упоминается там как источник. С 2023 года сайты все чаще блокируют операторов ИИ, причем очень по-разному; между условиями использования и robots.txt исследователи нередко находили противоречия Longpre и др., 2024. Поэтому проверка показывает каждый краулер отдельно.
| Вид | Записи | Что они делают |
|---|---|---|
| ИИ-поиск | 11 | Строит индекс, из которого ИИ-ассистент или поисковая система берет ответы с источниками. Если страница закрыта, она реже появляется там как источник или не появляется вовсе. |
| Обучение | 6 | Собирает материалы, на которых учатся языковые модели. Запрет действует на будущие циклы обучения, но не на уже обученные модели. |
| Переключатель для обучения | 2 | Отдельного краулера нет. Правило говорит оператору, можно ли использовать для обучения то, что он и так загрузил. |
| Запрос пользователя | 7 | Загружает одну страницу, потому что человек прямо сейчас спросил о ней. Несколько операторов пишут, что robots.txt для этого не действует или действует не всегда. |
Две записи заслуживают второго взгляда. Common Crawl сам не обучает модели, но строит самый большой открытый архив сети, а он входит в число важнейших источников для предварительного обучения больших языковых моделей Baack, 2024. Известный корпус для обучения C4, например, возник из одного такого снимка Dodge и др., 2021. Поэтому тот, кто против обучения, блокирует и CCBot; но то, что уже попало в снимок, никакое правило не вернет. Вторая запись — Googlebot: он есть в списке, потому что ИИ-обзоры и ИИ-режим поиска Google строятся на его индексе. Его не блокирует никто, кто хочет, чтобы его находили в Google.
Все 27 учтенных краулеров
| Имя в robots.txt | Оператор | Назначение | robots.txt действует | Что пишет оператор |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | ИИ-поиск | да, по данным оператора | Поставляет данные для поиска в ChatGPT. Кто его блокирует, не появляется там как источник в ответах. |
| Claude-SearchBot | Anthropic | ИИ-поиск | да, по данным оператора | Поддерживает поиск в Claude. Если страница закрыта, она реже появляется там в результатах. |
| Googlebot | ИИ-поиск | да, по данным оператора | Краулер поиска Google. ИИ-обзоры и ИИ-режим тоже обращаются к этому индексу; управляется это через nosnippet, max-snippet и noindex. | |
| PerplexityBot | Perplexity | ИИ-поиск | да, по данным оператора | Строит индекс, из которого Perplexity дает ссылки на источники. По данным оператора, не для обучения моделей. |
| Applebot | Apple | ИИ-поиск | да, по данным оператора | Краулер для поиска в Siri, Spotlight и Safari. По данным Apple, собранное может попасть и в обучение моделей Apple; для этого есть Applebot-Extended. |
| meta-webindexer | Meta | ИИ-поиск | да, по данным оператора | Индексирует для поиска в Meta AI, чтобы Meta могла цитировать содержимое и давать на него ссылки. |
| Amzn-SearchBot | Amazon | ИИ-поиск | да, по данным оператора | Для функций поиска в продуктах Amazon, таких как Alexa; по данным Amazon, не для обучения. |
| bingbot | Microsoft | ИИ-поиск | да, по данным оператора | Краулер Bing. Отдельного ИИ-идентификатора Microsoft не называет; указания для обучения и ИИ-ответов с февраля 2027 года адресованы Bingbot. |
| MistralAI-Index | Mistral | ИИ-поиск | да, по данным оператора | Обходит сайты только для поискового индекса, по данным Mistral, не для обучения. |
| DuckAssistBot | DuckDuckGo | ИИ-поиск | да, по данным оператора | Загружает страницы в реальном времени для ИИ-ответов DuckDuckGo, с указанием источника. По данным оператора, не для обучения. |
| YouBot | You.com | ИИ-поиск | да, по данным оператора | Краулер поисковой системы You.com. Соблюдает robots.txt вместе с Crawl-delay. |
| GPTBot | OpenAI | Обучение | да, по данным оператора | Собирает материалы, которые могут попасть в обучение моделей OpenAI. «Закрыто» означает, по данным OpenAI: не использовать для обучения. |
| ClaudeBot | Anthropic | Обучение | да, по данным оператора | Собирает материалы, которые могут попасть в обучение моделей Anthropic. Anthropic соблюдает robots.txt, а также Crawl-delay. |
| meta-externalagent | Meta | Обучение | да, по данным оператора | Собирает данные для обучения ИИ-моделей и для продуктов Meta. |
| Amazonbot | Amazon | Обучение | да, по данным оператора | Улучшает продукты Amazon, это может включать обучение ИИ-моделей Amazon. Crawl-delay он не учитывает. |
| MistralAI-Training | Mistral | Обучение | да, по данным оператора | Собирает материалы для данных обучения моделей Mistral. |
| CCBot | Common Crawl | Обучение | да, по данным оператора | Строит свободно доступный архив сети. Сам Common Crawl ничего не обучает, но архив — один из важнейших источников данных для обучения. |
| Google-Extended | Переключатель для обучения | да, по данным оператора | Отдельного краулера нет, это переключатель: можно ли использовать загрузки Google для обучения будущих моделей Gemini и для подкрепления ответов Gemini данными из сети? На поиск Google, по данным Google, он не влияет. | |
| Applebot-Extended | Apple | Переключатель для обучения | да, по данным оператора | Отдельного краулера нет. Если закрыто, Apple не использует содержимое для обучения своих моделей; в поиске страница остается. |
| ChatGPT-User | OpenAI | Запрос пользователя | не всегда | Загружает страницу, когда кто-то спрашивает о ней в ChatGPT. По данным OpenAI, правила robots.txt для этого могут не действовать. |
| Claude-User | Anthropic | Запрос пользователя | да, по данным оператора | Загружает страницы, когда пользователи задают вопрос в Claude. Anthropic пишет, что его боты соблюдают robots.txt. |
| Google-Agent | Запрос пользователя | не всегда | Ходит по сайтам от имени пользователя и выполняет действия. Запросы пользователей, по данным Google, как правило, обходят robots.txt. | |
| Perplexity-User | Perplexity | Запрос пользователя | не всегда | Загружает страницы, когда пользователь задает вопрос. По данным Perplexity, как правило, игнорирует robots.txt. |
| meta-externalfetcher | Meta | Запрос пользователя | не всегда | Загружает отдельные ссылки по просьбе пользователя, в том числе для ИИ-агентов. По данным Meta, может обходить robots.txt. |
| Amzn-User | Amazon | Запрос пользователя | не всегда | Загружает актуальные данные для вопроса пользователя, например в Alexa. По данным Amazon, соблюдает не все правила robots.txt. |
| MistralAI-User | Mistral | Запрос пользователя | да, по данным оператора | Загружает страницу, когда пользователь задает вопрос, и дает на нее ссылку как на источник. По данным Mistral, группа в robots.txt определяет, какие страницы для этого подходят. |
| Bytespider | ByteDance | неясно | не подтверждено | Документации оператора не найдено. Назначение и отношение к robots.txt не подтверждены. |
Не включены: имена из справочников ботов, которых сам оператор не называет (например, anthropic-ai или cohere-ai). По собственной документации, Cohere сейчас краулер не использует; Microsoft не называет отдельного ИИ-идентификатора, его указания для ИИ адресованы bingbot. По состоянию на 14 ноября 2026 г.
03 / ГЕНЕРАТОР
Запретить обучение, разрешить ИИ-поиск: подходящий блок
Большинство фирм хочет одного и того же: появляться как источник в ответах ChatGPT, Claude или Perplexity, но не поставлять без спроса материал для обучения. Генератор уже настроен под это. Он пишет каждую группу отдельно и только с Allow и Disallow, без подстановочных знаков, потому что даже коммерческие краулеры раз за разом неправильно понимают некоторые правила Giles и др., 2010. Блок вы вставляете в свой существующий robots.txt; группа «User-agent: *» остается как есть.
Генератор · блок robots.txt
Генератор работает в браузере и ничего не отправляет.
Генератор · заготовка llms.txt
Работает в браузере. Файл кладется как llms.txt в корневой каталог сайта.
Самая частая ловушка: группы ничего не наследуют
Краулер выполняет ровно ту группу, которая названа его именем. Если она есть, общее правило для него больше не действует, даже частично. В примере справа «User-agent: *» закрывает раздел /intern/, но GPTBot получает собственную группу с «Allow: /».
Результат для /intern/preise: ClaudeBot закрыт (строка 2: Disallow: /intern/ (группа *)), а GPTBot, напротив, может читать (строка 5: Allow: / (группа GPTBot)). Поэтому то, что должно быть закрыто для всех, нужно писать в каждую именованную группу. В генераторе такие разделы вы вносите один раз, он повторяет их везде.
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
Общий сигнал об обучении
С 30 октября 2026 года существует черновик IETF, который должен сократить поштучные запреты: группа «User-agent: __usage_ai-training» со строкой «Disallow: /» сообщает всем участвующим операторам сразу, что вы не хотите обучения. Пути работают как обычно, «Allow: /presse/» исключает папку для прессы. Группа не является командой для краулера, и общее правило «User-agent: *» для нее прямо не считается. Поскольку черновик новый и читают его еще не все операторы, генератор пишет и то и другое: отдельные группы и сигнал.
| Поставщик | С какого момента |
|---|---|
| Anthropic | с 30 октября 2026 г.; именованная группа ClaudeBot имеет приоритет |
| Microsoft (Bing) | с 1 февраля 2027 г. |
| планируется на 2027 год; без собственной группы Google-Extended Google оценивает отказ так же, как закрытый Google-Extended | |
| OpenAI | «в ближайшие месяцы»; правила для GPTBot сохраняются |
Источник: draft-kelley-aipref-training-preference-signal-00, без статуса стандарта, действует до 3 мая 2027 г. По состоянию на 14 ноября 2026 г.
04 / ПРАВИЛА
Как краулер читает ваш robots.txt
С сентября 2022 года эта процедура закреплена как RFC 9309, и проверка считает по нему. Файл всегда лежит по адресу /robots.txt в корневом каталоге и действует только для этого конкретного хоста: если ihre-firma.de перенаправляет на www.ihre-firma.de, учитывается файл на www. Краулер ищет группу со своим именем, регистр не важен; если ее нет, он берет «User-agent: *», а если нет и ее, ему можно все. Внутри группы побеждает самое длинное подходящее правило, при равенстве — Allow. Звездочка означает любые символы, знак доллара в конце — конец адреса.
Еще в 2007 году обследование 7593 сайтов показало, что файл используется все чаще, и заодно показало, чем он является: правилом, которого придерживаются добросовестные краулеры, а не принуждением Sun и др., 2007. С тех пор ничего не изменилось.
| Ответ | RFC 9309 | |
|---|---|---|
| 200, текстовый файл | Правила действуют, читается не менее 500 KiB | так же, все после 500 KiB игнорируется |
| 200, но веб-страница | нет ни одной допустимой строки, значит, нет правил | так же |
| 404 и другие 4xx | robots.txt нет, разрешено все | разрешено все, кроме 429 |
| 429 слишком много запросов | как 4xx | как ошибка сервера |
| 5xx или недоступен | закрыто все | 12 часов без обхода, затем до 30 дней последняя рабочая версия |
| Перенаправление | выполняется не менее пяти | не менее пяти, затем как 404 |
Google хранит файл в кеше, как правило, до 24 часов, Amazon — до 30 дней. Поэтому изменения вступают в силу не сразу. Наш запрос следует не более чем по трем перенаправлениям. По состоянию на 14 ноября 2026 г.
Указания на самих страницах
Кроме robots.txt, есть указания для отдельных страниц: мета-тег в заголовке или X-Robots-Tag в ответе сервера. Проверка читает их на главной странице. Для ИИ важны прежде всего такие: noindex убирает страницу из поискового индекса, а значит, и из ИИ-обзоров; nosnippet запрещает Google показывать фрагмент текста, в том числе в ИИ-обзорах и в ИИ-режиме. Amazon читает noarchive как «не для обучения». Microsoft с 1 февраля 2027 года вводит собственные указания для обучения и подкрепления ответов данными (ai-training, ai-grounding), а noarchive и nocache с марта 2027 года больше не читает как указание для ИИ. Указания вроде «noai» распространены, но ни одним оператором из нашего списка не задокументированы.
05 / ГРАНИЦЫ
Чего robots.txt не делает
- Это просьба. В экспериментах со 130 именованными ботами за 40 дней боты реже выполняли строгие правила, а ИИ-поисковые краулеры часто вообще не запрашивали файл Kim и др., 2025.
- Он действует только на имена. С помощью специально подготовленных сайтов удалось установить, какой краулер каким ИИ-системам поставляет данные, в том числе нескольким, о которых оператор не сообщает Seiden и др., 2026. Кто приходит под чужим именем, не подпадает ни под одно правило.
- Запросы пользователей отчасти идут мимо. OpenAI, Perplexity, Meta, Amazon и Google сами пишут, что их запросы по просьбе пользователя не всегда соблюдают robots.txt. Anthropic и Mistral называют этот файл средством управления и для таких запросов.
- Жесткие блокировки настраиваются на сервере. Художникам часто не хватало знаний или доступа к собственному сайту, чтобы настроить robots.txt; эффективнее защищали блокировки на обратном прокси (reverse proxy) Liu и др., 2025. И наоборот, некоторые хостеры и конструкторы сайтов блокируют краулеры, а владелец об этом не знает: в одном снимке Common Crawl около 1,68 процента сайтов явно отклоняли краулер Ansar и др., 2025. Если ваша главная страница отвечает на наш запрос страницей проверки, проверка об этом сообщит.
- Наш запрос — не ИИ-краулер. Сервер обращается под собственным идентификатором. Если межсетевой экран блокирует краулеры по имени, например через настройку в Cloudflare, проверка этого не увидит.
А что с юридической стороной?
Согласно § 44b Abs. 3 UrhG, анализ текста и данных (Text und Data Mining) в отношении свободно доступных произведений разрешен, пока правообладатель не сделал оговорку, а для содержимого в сети учитывается только оговорка в машиночитаемой форме. robots.txt машиночитаем, но достаточно ли его в качестве оговорки, окончательно не выяснено. Одна юридическая работа обосновывает для стран общего права, что обход этого файла при определенных обстоятельствах может повлечь ответственность Chang и He, 2025; для Германии это нужно проверять отдельно. Кто хочет заявить такую оговорку, пишет ее дополнительно в импрессуме или в условиях использования. Это не юридическая консультация.
06 / LLMS.TXT
llms.txt: что файл умеет, а что нет
llms.txt предложил Джереми Говард (Jeremy Howard) 3 сентября 2024 года, описание есть на llmstxt.org. Это файл Markdown по адресу /llms.txt: заголовок с названием (это единственная обязательная часть), затем краткое описание в виде цитаты, по желанию несколько предложений и разделы со списками ссылок на важнейшие страницы. Раздел «Optional» содержит то, что ассистент может пропустить.
Измерение примерно на 4 миллионах доменов показало, что файл встречается в основном у технологических фирм, а некоторые его ссылки вели на страницы, которые закрывает собственный robots.txt Hoffmann и др., 2026. Именно это проверяет наша проверка. Указатель на закрытые страницы ведет в никуда.
Честно говоря: Google пишет в документации к ИИ-обзорам, что для них не нужно создавать новые машиночитаемые файлы, и ни один из учтенных здесь операторов не пишет в документации к краулеру, что читает llms.txt чужих сайтов. То есть это не рычаг для видимости. Тем не менее он полезен как короткое аккуратное описание о себе, которое ассистент может прочитать при запросе пользователя, и потому что делается за десять минут.
Наш собственный лежит по адресу aureum-tech.com/llms.txt. Заготовку для вашего строит генератор выше.
07 / ВИДИМОСТЬ
Право читать — еще не значит быть названным
Проверка отвечает на предварительный вопрос. Назовет ли ChatGPT вашу фирму, если кто-то ищет электрика в Плауэне, зависит от содержимого ваших страниц и от того, что пишут о вас другие. В экспериментах видимость источников в ответах ИИ удавалось повысить за счет подготовки содержимого до 40 процентов, причем в разных областях помогали разные средства Aggarwal и др., 2024. В одном измерении 55 393 поисковых запросов в Google ИИ-обзор появился в 13,7 процента случаев, а на вопросы — в 64,7 процента, и почти 30 процентов процитированных там доменов не входили в результаты первой страницы Xu и др., 2026.
Быть упомянутым — еще не значит быть правильно процитированным. В четырех ИИ-поисковых системах в среднем лишь чуть больше половины предложений подтверждались указанными источниками Liu и др., 2023. А тот, кто блокирует ИИ-краулер Google, реже привлекается как источник в ИИ-обзорах, хотя Google пишет, что переключатель на поиск не влияет Grossman и др., 2026.
Насколько ваша фирма действительно заметна в ChatGPT, Perplexity и ИИ Google, показывает быстрая проверка SpotLens. О том, как мы строим содержимое и структурированные данные, чтобы ИИ-поиск их цитировал, написано в разделе AI-SEO. Кто сначала хочет посмотреть сам, найдет в советах, как проверить видимость в ChatGPT и что значит ИИ-видимость для компаний. Отдельные правила вы проверите в тестере robots.txt, другие инструменты для поиска сайта — в разделе SEO и видимость.
08 / ИССЛЕДОВАНИЯ
Что об этом говорят исследования
Оценка в проверке опирается на 15 рецензируемых работ. Важнейшие выводы, а полный список с отметкой о проверке — ниже.
- Блокировок становится больше, и неравномерно. За один год значительная часть источников, стоящих за данными для обучения ИИ, была закрыта, у разных операторов по-разному Longpre и др., 2024. Поэтому проверка показывает краулеры по отдельности.
- Правила выполняются выборочно. Чем строже правило, тем реже боты его соблюдали Kim и др., 2025. Поэтому проверка не измеряет то, чего измерить не может, и прямо об этом говорит.
- Обучение идет через архивы. Common Crawl — один из важнейших источников для предварительного обучения Baack, 2024, а корпуса вроде C4 возникают из отдельных снимков Dodge и др., 2021. Поэтому проверка предупреждает, если CCBot остается открытым.
- ИИ-обзоры выбирают собственные источники. Многие процитированные домены не стоят на первой странице Xu и др., 2026, а блокировка ИИ-краулеров связана с более редкими упоминаниями Grossman и др., 2026.
- llms.txt еще молод и часто противоречив. Ссылки в файле иногда ведут на закрытые страницы Hoffmann и др., 2026; проверка проверяет каждую собственную ссылку.
09 / ДЛЯ ИИ-АССИСТЕНТОВ
Как пользоваться этим инструментом из ИИ-ассистента
Ассистенты вроде Claude или ChatGPT, которые поддерживают Model Context Protocol (MCP), могут напрямую вызвать расчет с этой страницы, а не воспроизводить его сами. Сервер открыт для всех, не требует регистрации и ничего не сохраняет. В ответе всегда есть ссылка на эту страницу, дата актуальности данных и пределы применимости результата.
- Эндпоинт
https://aureum-tech.com/mcp- Инструмент
werkzeug_ki_crawler_check- Транспорт
- Streamable HTTP, только чтение
| Название | Обязательно | Что означает |
|---|---|---|
domain | нет | Домен сайта, например ihre-firma.de или https://www.ihre-firma.de. Путь игнорируется: robots.txt всегда находится в корневом каталоге. Только общедоступные сайты, порты 80 и 443. |
robots_txt | нет | Вместо домена можно передать текст robots.txt. Тогда инструмент проверит его без обращения к сайту. Не указывайте одновременно с domain. |
pfad | нет | Проверяемый путь, например /blog/artikel. По умолчанию используется главная страница «/». |
Вопросы, при которых ассистенту стоит его вызвать
- «Может ли ChatGPT читать мой сайт handwerk-muster.de?»
- «Не блокирует ли наш robots.txt поиск в Perplexity и ChatGPT по ошибке?»
- «Как запретить обучение ИИ, сохранив видимость в поиске ChatGPT и Claude?»
- «Есть ли у www.beispiel-praxis.de файл llms.txt и ведут ли его ссылки на заблокированные страницы?»
Как устроено подключение и что MCP может дать вашей фирме, описано на странице об MCP-интеграциях.
10 / ЧАСТЫЕ ВОПРОСЫ
Частые вопросы об ИИ-краулерах, robots.txt и llms.txt
Как запретить обучение ИИ, не пропав из поиска ChatGPT?
OpenAI разделяет эти задачи: GPTBot собирает данные для обучения, OAI-SearchBot работает на поиск в ChatGPT, и каждая настройка действует сама по себе. В robots.txt для GPTBot пишется «Disallow: /», для OAI-SearchBot — «Allow: /». У Anthropic то же самое с ClaudeBot и Claude-SearchBot, а у Google вы блокируете Google-Extended и не трогаете Googlebot. Генератор на этой странице пишет весь блок сразу для всех учтенных операторов.
Чем отличаются GPTBot, OAI-SearchBot и ChatGPT-User?
GPTBot собирает материалы, которые могут попасть в обучение будущих моделей. OAI-SearchBot строит индекс, из которого ChatGPT при поиске берет источники; если его заблокировать, то, по данным OpenAI, сайт не будет появляться там в ответах. ChatGPT-User загружает одну страницу, потому что кто-то прямо сейчас спросил о ней в чате. Правила robots.txt для такого запроса, по словам OpenAI, могут не действовать.
Пропадет ли мой сайт из Google, если я заблокирую Google-Extended?
Нет. Google-Extended — это не отдельный краулер, а переключатель: можно ли Google использовать загруженное для обучения Gemini и для подкрепления ответов Gemini данными из сети. По данным Google, он не влияет ни на попадание в поиск, ни на ранжирование. ИИ-обзоры в поиске Google зависят от Googlebot и от правил для сниппетов, например nosnippet. Правда, одно измерение 2026 года показало, что сайты с заблокированным ИИ-краулером Google реже становятся источником в ИИ-обзорах.
Нужен ли мне файл llms.txt?
Обязательным он не является. llms.txt — это предложение Джереми Говарда (Jeremy Howard) от сентября 2024 года: файл в формате Markdown с заголовком, кратким описанием и ссылками на самые важные страницы. Google прямо пишет, что для ИИ-обзоров новые машиночитаемые файлы не нужны, и ни один из учтенных здесь операторов не пишет в документации к краулеру, что читает такой файл. Вреда от него нет, и делается он быстро; заготовку для него даст генератор. Важнее, чтобы ссылки в нем не вели на закрытые страницы.
Все ли краулеры соблюдают robots.txt?
Нет. robots.txt — это просьба, а не замок. Измерения показывают, что боты реже выполняют более строгие правила, а ИИ-поисковые краулеры часто вообще не запрашивают этот файл. Запросы по просьбе пользователей, такие как ChatGPT-User, Perplexity-User или meta-externalfetcher, по заявлениям их операторов, иногда обходят robots.txt, а тот, кто собирает данные без имени, не попадает ни под одно правило. Кто хочет закрыть сайт по-настоящему, тому нужна блокировка на сервере или у хостера.
Действует ли запрет на модели, которые уже обучены?
Нет. OpenAI и Anthropic описывают запрет как указание для будущего обучения. Данные для обучения берутся из фиксированных снимков сети, например из архива Common Crawl; то, что там уже лежит, там и остается. Поэтому, если вы не хотите обучения, стоит учитывать и CCBot.
Что значит «User-agent: __usage_ai-training»?
Это общий сигнал об обучении по черновику IETF от 30 октября 2026 года. Группа с таким именем и строкой «Disallow: /» сообщает всем участвующим операторам сразу, что вы не хотите обучения. По собственным заявлениям, Anthropic его уже учитывает, Microsoft будет учитывать с 1 февраля 2027 года, Google планирует на 2027 год, OpenAI — в ближайшие месяцы. Это не команда для краулера, и группа «User-agent: *» для него прямо не считается.
Где заканчиваются возможности проверки ИИ-краулеров?
Она читает правила вашего robots.txt, файл llms.txt и указания для роботов на главной странице и по каждому краулеру говорит, что разрешено. Соблюдает ли краулер эти правила, она не измеряет, и знает ли ИИ-ассистент вашу фирму и рекомендует ли ее, тоже не показывает. Это показывает быстрая проверка SpotLens; как должно быть устроено содержимое, чтобы ИИ-поиск его цитировал, написано в разделе AI-SEO. Файлы мы по желанию настроим за вас.
11 / ИССЛЕДОВАНИЯ И ИСТОЧНИКИ
На что опирается этот инструмент
Ориентировочные значения и подсказки выше основаны на этих 15 научных работах. Каждую мы проверили по DOI или на сайте издательства (последний раз 14 ноября 2026 г.): она существует, не отозвана, и ее выводы по-прежнему применимы к этому вопросу.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), с. 1123–1124
Результат Пять обследований 7 593 сайтов показали, что robots.txt используется все чаще. Файл задает правила для добросовестных краулеров и не блокирует доступ сам по себе.
Как это учтено в инструменте robots.txt сообщает краулерам о пожеланиях владельца сайта. Ограничивать доступ нужно отдельно.
doi.org/10.1145/1242572.1242726 · доклад на конференции
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), с. 1101–1102
Результат Большинство коммерческих краулеров в целом соблюдали правила. Многие при этом регулярно нарушали или неверно трактовали отдельные директивы robots.txt.
Как это учтено в инструменте Генератор выносит каждую группу отдельно и использует только Allow и Disallow без подстановочных знаков.
doi.org/10.1145/1772690.1772824 · доклад на конференции
Kim, T.; Bock, K.; Luo, C. и др. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), с. 541–557
Результат В ходе контролируемого эксперимента с 130 ботами с известными именами за 40 дней боты реже соблюдали более строгие ограничения. Краулеры ИИ-поиска часто вообще не запрашивали robots.txt.
Как это учтено в инструменте Проверка разбирает правила без измерения поведения краулеров. Это важно и для ограничений запросов от имени пользователя.
doi.org/10.1145/3730567.3764471 · доклад на конференции
Liu, E.; Luo, E.; Shan, S. и др. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), с. 78–99
Результат Измерения и опрос 203 художников выявили потребность в robots.txt. Мешают недостаток знаний и отсутствие доступа к настройкам собственного сайта. Блокировки на обратном прокси оказались эффективнее, но применяются редко.
Как это учтено в инструменте Для принудительной блокировки рекомендуется настроить ограничение у хостера или на прокси. Генератором можно пользоваться без специальных знаний.
doi.org/10.1145/3730567.3732913 · доклад на конференции
Seiden, S.; Ren, T.; Zhang, C. и др. (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026), с. 6998–7012
Результат С помощью специально подготовленных сайтов и 22 ИИ-систем авторы определили, какие краулеры загружают данные для каких моделей. Среди них оказались и краулеры, которых операторы не раскрывают.
Как это учтено в инструменте В таблицу входят только краулеры, которые операторы документируют под их собственными именами.
doi.org/10.1145/3830454.3846799 · доклад на конференции
Longpre, S.; Mahari, R.; Lee, A. и др. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), с. 108042–108087
Результат Проверка 14 000 доменов, служивших источниками обучающих данных, за год выявила значительный рост числа ограничений, заметные различия между ИИ-компаниями и частые противоречия между условиями использования и robots.txt.
Как это учтено в инструменте Доступ показан для каждого краулера отдельно. Общий статус для всего ИИ был бы недостаточно точен.
doi.org/10.52202/079017-3431 · доклад на конференции
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024), с. 2199–2208
Результат Common Crawl — крупнейшая общедоступная коллекция веб-данных и один из основных источников для предварительного обучения больших языковых моделей. На нее часто приходится значительная часть обучающих материалов.
Как это учтено в инструменте CCBot включен в раздел обучения. Проверка предупреждает, если некоторые краулеры для обучения заблокированы, а у CCBot остался доступ.
doi.org/10.1145/3630106.3659033 · доклад на конференции
Dodge, J.; Sap, M.; Marasović, A. и др. (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), с. 1286–1305
Результат Корпус C4 создан на основе одного снимка Common Crawl. В него попали тексты из неожиданных источников, в том числе патентов и сайтов военных ведомств.
Как это учтено в инструменте Обучающие корпуса составляются из снимков. Новый запрет доступа не меняет данные, уже попавшие в снимок.
doi.org/10.18653/v1/2021.emnlp-main.98 · доклад на конференции
Aggarwal, P.; Murahari, V.; Rajpurohit, T. и др. (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), с. 5–16
Результат Подачу материалов можно изменить так, что их цитирование в ИИ-поиске станет до 40% заметнее. Эффективность приемов зависит от темы.
Как это учтено в инструменте Доступ создает возможность цитирования. Будет ли источник процитирован, зависит от его содержания. Подробнее об этом в разделе AI-SEO.
doi.org/10.1145/3637528.3671900 · доклад на конференции
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, с. 7001–7025
Результат В четырех ИИ-поисковиках источники полностью подкрепляли в среднем лишь немногим больше половины предложений. Около четверти ссылок не подтверждали связанные с ними утверждения.
Как это учтено в инструменте Открытый доступ не гарантирует корректного цитирования. Инструмент проверяет доступ к материалу. Текст ответа ИИ в эту проверку не входит.
doi.org/10.18653/v1/2023.findings-emnlp.467 · доклад на конференции
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026), с. 529–546
Результат Среди 55 393 запросов ИИ-обзор появился в 13,7% случаев. Для запросов в форме вопроса показатель составил 64,7%. Почти 30% процитированных доменов не входили в выдачу на первой странице.
Как это учтено в инструменте Googlebot включен в проверку, потому что ИИ-обзоры берут источники из поискового индекса, в том числе за пределами первых результатов.
doi.org/10.1145/3777912.3839818 · доклад на конференции
Grossman, R.; Liu, S.; Chen, M. K. и др. (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), с. 448–459
Результат В исследовании 11 500 запросов источники в поиске Google, ИИ-обзорах и Gemini сильно различались. Сайты, блокирующие ИИ-краулеры Google, реже служили источниками для ИИ-обзоров.
Как это учтено в инструменте При блокировке Google-Extended проверка показывает и этот результат, и заявление Google о том, что директива не влияет на поиск.
doi.org/10.1145/3805712.3809667 · доклад на конференции
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, с. 29–41
Результат Замеры примерно на 4 миллионах доменов показали, что robots.txt остается главным средством управления доступом. Специальные файлы для ИИ, такие как ai.txt и llms.txt, появляются в основном у технологических компаний. Некоторые ссылки в llms.txt ведут на страницы, заблокированные в robots.txt.
Как это учтено в инструменте Проверка показывает, ведут ли ссылки из llms.txt на страницы, закрытые правилами robots.txt.
doi.org/10.1145/3831956.3831960 · научный журнал
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, статья 106176
Результат С развитием генеративного ИИ игнорирование robots.txt может иметь более серьезные последствия. По мнению авторов, в странах общего права файл при определенных условиях может действовать как односторонний договор или как предупреждение, влияющее на ответственность.
Как это учтено в инструменте У robots.txt есть и правовая сторона. В Германии ее нужно оценивать отдельно.
doi.org/10.1016/j.clsr.2025.106176 · научный журнал
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, с. 197–214
Результат Примерно 1,68% сайтов в одном снимке Common Crawl явно отклонили запросы краулера. Часто у крупных хостеров и платформ-конструкторов срабатывала блокировка или показывалась страница проверки.
Как это учтено в инструменте Если главная страница возвращает страницу проверки, инструмент сообщает об этом. Защита от ботов может действовать независимо от robots.txt.
doi.org/10.1007/978-3-031-85960-1_9 · доклад на конференции
Стандарты, ведомства и данные производителей
- RFC 9309: Robots Exclusion Protocol · IETF, сентябрь 2022
- How Google interprets the robots.txt specification (коды состояния, 500 KiB, кэширование) · Google Search Central
- Overview of OpenAI Crawlers · OpenAI
- Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
- Google common crawlers (Google-Extended) · Google Search Central
- Google user-triggered fetchers (Google-Agent) · Google Search Central
- AI features and your website · Google Search Central
- Perplexity Crawlers · Perplexity
- About Applebot · Apple, по состоянию на 4 сентября 2026
- Meta Web Crawlers · Meta
- Amazonbot, Amzn-SearchBot, Amzn-User · Amazon, по состоянию на 26 октября 2026
- Your content, your choice: clearer preferences for training and grounding · Microsoft Bing, 30 октября 2026
- Mistral AI crawlers · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- Cohere web crawlers (на данный момент краулера нет) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · проект IETF, 30 октября 2026
- A new way to control AI training (сигнал об обучении) · блог Google Search Central, 30 октября 2026
- Making it easier for websites to express AI training preferences · OpenAI, 30 октября 2026
- The /llms.txt file · llmstxt.org, предложение от 3 сентября 2024
- § 44b UrhG: анализ текстов и данных · gesetze-im-internet.de
12 / ДРУГИЕ ИНСТРУМЕНТЫ
Остался вопрос?
- AT-W2 · Для дома и фирм
Проверка Windows 10
Получает ли этот компьютер обновления безопасности и что нужно сделать до октября 2027 года? - AT-W3 · Для дома и фирм
Планировщик Wi-Fi
Сколько точек доступа или mesh-точек нужно вашему дому, офису или цеху? - AT-W4 · Для фирм
Проверка на случай IT-аварии
Как быстро ваша фирма снова сможет работать после сбоя? - AT-W5 · Для фирм
Проверка e-mail
Ваши письма попадают в спам? SPF, DKIM и DMARC вашего домена простыми словами. - AT-W6 · Для фирм
Калькулятор ИБП
Какой ИБП (USV) продержит сервер, роутер и кассу достаточно долго, если отключат электричество? - AT-W8 · Для фирм
Просмотр XRechnung
Получили XRechnung в виде XML-файла? Здесь его можно прочитать, и файл при этом не покидает ваш компьютер.
Пришлите результаты проверки. Мы настроим robots.txt, llms.txt и структурированные данные так, чтобы ИИ-поиск мог читать страницы, а разрешения на обучение соответствовали вашим пожеланиям. Работаем в Родевише (Rodewisch) и по всему Фогтланду (Vogtland).
+49 3744 4399760[email protected]Пн–пт, 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch