Инструмент AT-W29РЕД. 2026-A

Проверка ИИ-краулеров: могут ли ChatGPT, Claude и Perplexity читать ваш сайт?

Может ли ИИ-ассистент читать ваш сайт, написано в robots.txt: для каждого краулера своя группа, иначе действует общее правило «User-agent: *». Решает цель. GPTBot и ClaudeBot собирают данные для обучения, OAI-SearchBot и Claude-SearchBot работают на ИИ-поиск, а ChatGPT-User загружает страницу, когда кто-то спрашивает в чате. Проверка читает ваши правила для 27 краулеров, смотрит llms.txt и пишет подходящий блок.

  • бесплатно
  • без регистрации
  • 5 минут в кэше

Введите домен и посмотрите доступ по каждому краулеру

Запрос · robots.txt, llms.txt и главная страница

Проверка читает правила в том виде, в каком они сегодня лежат на сервере, и оценивает их по RFC 9309. Соблюдает ли краулер эти правила, решает его оператор.

Например, ihre-firma.de. Если главная страница перенаправляет на www., проверка смотрит там.

Без указания — главная страница. С /blog или /leistungen вы увидите, открыт ли именно этот раздел.

Домен отправляется на наш сервер, который загружает robots.txt, llms.txt и начало главной страницы. Домен и результат не записываются в журнал. Для повторных проверок они хранятся в оперативной памяти до пяти минут.

Без запроса: вставить текст robots.txt

Например, для файла, которого еще нет в сети. Текст остается в браузере; действует путь, указанный выше.

Результат

Введите домен выше. Запрос занимает несколько секунд.

Какие бывают ИИ-краулеры и зачем они читают сайты

Крупные операторы присылают не один краулер, а несколько, в зависимости от цели. Это главное, что нужно знать при настройке: кто закрывает сайт от «ИИ» целиком, тот, как правило, пропадает и из ИИ-поиска и больше не упоминается там как источник. С 2023 года сайты все чаще блокируют операторов ИИ, причем очень по-разному; между условиями использования и robots.txt исследователи нередко находили противоречия Longpre и др., 2024. Поэтому проверка показывает каждый краулер отдельно.

ОБУЧЕНИЕ, НАПР. GPTBOT, CLAUDEBOT, CCBOTВАШ САЙТROBOTS.TXTКРАУЛЕР СОБИРАЕТБУДУЩАЯМОДЕЛЬИИ-ПОИСК, НАПР. OAI-SEARCHBOT, PERPLEXITYBOTВАШ САЙТROBOTS.TXTПОИСКОВЫЙ ИНДЕКСОТВЕТ СИСТОЧНИКЗАПРОС ПОЛЬЗОВАТЕЛЯ, НАПР. CHATGPT-USERВОПРОС В ЧАТЕЗАГРУЗКА ОДНОЙ СТРАНИЦЫВАШ САЙТОБУЧЕНИЕ, НАПР. GPTBOT,CLAUDEBOT, CCBOTВАШ САЙТROBOTS.TXTКРАУЛЕР СОБИРАЕТБУДУЩАЯ МОДЕЛЬИИ-ПОИСК, НАПР. OAI-SEARCHBOT,PERPLEXITYBOTВАШ САЙТROBOTS.TXTПОИСКОВЫЙ ИНДЕКСОТВЕТ С ИСТОЧНИКОМЗАПРОС ПОЛЬЗОВАТЕЛЯ, НАПР. CHATGPT-USERВОПРОС В ЧАТЕЗАГРУЗКА ОДНОЙ СТРАНИЦЫВАШ САЙТ
РИС. 1 · ТРИ ПУТИ, ПО КОТОРЫМ ИИ ЧИТАЕТ ВАШ САЙТЗОЛОТОЙ ЦВЕТ = ВАШЕ ПРАВИЛО В ROBOTS.TXT · ПУНКТИР = ПРАВИЛО ДЕЙСТВУЕТ НЕ ВСЕГДА
Четыре вида, по данным операторов
ВидЗаписиЧто они делают
ИИ-поиск11Строит индекс, из которого ИИ-ассистент или поисковая система берет ответы с источниками. Если страница закрыта, она реже появляется там как источник или не появляется вовсе.
Обучение6Собирает материалы, на которых учатся языковые модели. Запрет действует на будущие циклы обучения, но не на уже обученные модели.
Переключатель для обучения2Отдельного краулера нет. Правило говорит оператору, можно ли использовать для обучения то, что он и так загрузил.
Запрос пользователя7Загружает одну страницу, потому что человек прямо сейчас спросил о ней. Несколько операторов пишут, что robots.txt для этого не действует или действует не всегда.

Две записи заслуживают второго взгляда. Common Crawl сам не обучает модели, но строит самый большой открытый архив сети, а он входит в число важнейших источников для предварительного обучения больших языковых моделей Baack, 2024. Известный корпус для обучения C4, например, возник из одного такого снимка Dodge и др., 2021. Поэтому тот, кто против обучения, блокирует и CCBot; но то, что уже попало в снимок, никакое правило не вернет. Вторая запись — Googlebot: он есть в списке, потому что ИИ-обзоры и ИИ-режим поиска Google строятся на его индексе. Его не блокирует никто, кто хочет, чтобы его находили в Google.

Все 27 учтенных краулеров

Список краулеров, проверен 14 ноября 2026 г. по документации соответствующего оператора
Имя в robots.txtОператорНазначениеrobots.txt действуетЧто пишет оператор
OAI-SearchBotOpenAIИИ-поискда, по данным оператораПоставляет данные для поиска в ChatGPT. Кто его блокирует, не появляется там как источник в ответах.
Claude-SearchBotAnthropicИИ-поискда, по данным оператораПоддерживает поиск в Claude. Если страница закрыта, она реже появляется там в результатах.
GooglebotGoogleИИ-поискда, по данным оператораКраулер поиска Google. ИИ-обзоры и ИИ-режим тоже обращаются к этому индексу; управляется это через nosnippet, max-snippet и noindex.
PerplexityBotPerplexityИИ-поискда, по данным оператораСтроит индекс, из которого Perplexity дает ссылки на источники. По данным оператора, не для обучения моделей.
ApplebotAppleИИ-поискда, по данным оператораКраулер для поиска в Siri, Spotlight и Safari. По данным Apple, собранное может попасть и в обучение моделей Apple; для этого есть Applebot-Extended.
meta-webindexerMetaИИ-поискда, по данным оператораИндексирует для поиска в Meta AI, чтобы Meta могла цитировать содержимое и давать на него ссылки.
Amzn-SearchBotAmazonИИ-поискда, по данным оператораДля функций поиска в продуктах Amazon, таких как Alexa; по данным Amazon, не для обучения.
bingbotMicrosoftИИ-поискда, по данным оператораКраулер Bing. Отдельного ИИ-идентификатора Microsoft не называет; указания для обучения и ИИ-ответов с февраля 2027 года адресованы Bingbot.
MistralAI-IndexMistralИИ-поискда, по данным оператораОбходит сайты только для поискового индекса, по данным Mistral, не для обучения.
DuckAssistBotDuckDuckGoИИ-поискда, по данным оператораЗагружает страницы в реальном времени для ИИ-ответов DuckDuckGo, с указанием источника. По данным оператора, не для обучения.
YouBotYou.comИИ-поискда, по данным оператораКраулер поисковой системы You.com. Соблюдает robots.txt вместе с Crawl-delay.
GPTBotOpenAIОбучениеда, по данным оператораСобирает материалы, которые могут попасть в обучение моделей OpenAI. «Закрыто» означает, по данным OpenAI: не использовать для обучения.
ClaudeBotAnthropicОбучениеда, по данным оператораСобирает материалы, которые могут попасть в обучение моделей Anthropic. Anthropic соблюдает robots.txt, а также Crawl-delay.
meta-externalagentMetaОбучениеда, по данным оператораСобирает данные для обучения ИИ-моделей и для продуктов Meta.
AmazonbotAmazonОбучениеда, по данным оператораУлучшает продукты Amazon, это может включать обучение ИИ-моделей Amazon. Crawl-delay он не учитывает.
MistralAI-TrainingMistralОбучениеда, по данным оператораСобирает материалы для данных обучения моделей Mistral.
CCBotCommon CrawlОбучениеда, по данным оператораСтроит свободно доступный архив сети. Сам Common Crawl ничего не обучает, но архив — один из важнейших источников данных для обучения.
Google-ExtendedGoogleПереключатель для обученияда, по данным оператораОтдельного краулера нет, это переключатель: можно ли использовать загрузки Google для обучения будущих моделей Gemini и для подкрепления ответов Gemini данными из сети? На поиск Google, по данным Google, он не влияет.
Applebot-ExtendedAppleПереключатель для обученияда, по данным оператораОтдельного краулера нет. Если закрыто, Apple не использует содержимое для обучения своих моделей; в поиске страница остается.
ChatGPT-UserOpenAIЗапрос пользователяне всегдаЗагружает страницу, когда кто-то спрашивает о ней в ChatGPT. По данным OpenAI, правила robots.txt для этого могут не действовать.
Claude-UserAnthropicЗапрос пользователяда, по данным оператораЗагружает страницы, когда пользователи задают вопрос в Claude. Anthropic пишет, что его боты соблюдают robots.txt.
Google-AgentGoogleЗапрос пользователяне всегдаХодит по сайтам от имени пользователя и выполняет действия. Запросы пользователей, по данным Google, как правило, обходят robots.txt.
Perplexity-UserPerplexityЗапрос пользователяне всегдаЗагружает страницы, когда пользователь задает вопрос. По данным Perplexity, как правило, игнорирует robots.txt.
meta-externalfetcherMetaЗапрос пользователяне всегдаЗагружает отдельные ссылки по просьбе пользователя, в том числе для ИИ-агентов. По данным Meta, может обходить robots.txt.
Amzn-UserAmazonЗапрос пользователяне всегдаЗагружает актуальные данные для вопроса пользователя, например в Alexa. По данным Amazon, соблюдает не все правила robots.txt.
MistralAI-UserMistralЗапрос пользователяда, по данным оператораЗагружает страницу, когда пользователь задает вопрос, и дает на нее ссылку как на источник. По данным Mistral, группа в robots.txt определяет, какие страницы для этого подходят.
BytespiderByteDanceнеясноне подтвержденоДокументации оператора не найдено. Назначение и отношение к robots.txt не подтверждены.

Не включены: имена из справочников ботов, которых сам оператор не называет (например, anthropic-ai или cohere-ai). По собственной документации, Cohere сейчас краулер не использует; Microsoft не называет отдельного ИИ-идентификатора, его указания для ИИ адресованы bingbot. По состоянию на 14 ноября 2026 г.

Запретить обучение, разрешить ИИ-поиск: подходящий блок

Большинство фирм хочет одного и того же: появляться как источник в ответах ChatGPT, Claude или Perplexity, но не поставлять без спроса материал для обучения. Генератор уже настроен под это. Он пишет каждую группу отдельно и только с Allow и Disallow, без подстановочных знаков, потому что даже коммерческие краулеры раз за разом неправильно понимают некоторые правила Giles и др., 2010. Блок вы вставляете в свой существующий robots.txt; группа «User-agent: *» остается как есть.

Генератор · блок robots.txt

Можно ли операторам ИИ использовать ваши материалы для обучения?

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, MistralAI-Training, CCBot, Bytespider

Можно ли ИИ-поисковым сервисам читать ваши страницы и называть их источником?

OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer, Amzn-SearchBot, MistralAI-Index, DuckAssistBot, YouBot

Можно ли ассистентам загружать страницу, когда кто-то спрашивает о ней?

ChatGPT-User, Claude-User, Google-Agent, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User

Все, что в вашем robots.txt закрыто под «User-agent: *», нужно записать здесь. Именованные краулеры этого не наследуют.

# KI-Crawler, erstellt mit dem KI-Crawler-Check von aureum-tech.com (Crawler-Liste Stand 14. November 2026)
# Training: gesperrt · KI-Suche: erlaubt · Nutzerabrufe: erlaubt
# Jeder Crawler befolgt nur die Gruppe mit seinem Namen. Was für alle gesperrt sein soll, steht deshalb in jeder Gruppe.

# Training (Schalter wie Google-Extended crawlen nicht selbst, sie regeln nur die Nutzung)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: MistralAI-Training
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

# KI-Suche: liefert Antworten mit Quellenangabe
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: meta-webindexer
Allow: /

User-agent: Amzn-SearchBot
Allow: /

User-agent: MistralAI-Index
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: YouBot
Allow: /

# Nutzerabrufe: laut mehreren Betreibern nicht immer an robots.txt gebunden
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Google-Agent
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: meta-externalfetcher
Allow: /

User-agent: Amzn-User
Allow: /

User-agent: MistralAI-User
Allow: /

# Gemeinsames Trainingssignal (IETF-Entwurf vom 30.10.2026, mehrere Anbieter haben es angekündigt)
User-agent: __usage_ai-training
Disallow: /

Генератор работает в браузере и ничего не отправляет.

Генератор · заготовка llms.txt

Только страницы, которые ваш robots.txt открывает для ИИ-поиска. Заготовка следует предложению на llmstxt.org.

# Name Ihrer Firma

> Ein Satz: Wer Sie sind, was Sie anbieten und wo.

## Wichtige Seiten

- [Leistungen](https://ihre-firma.de/leistungen): Was Sie anbieten
- [Kontakt](https://ihre-firma.de/kontakt): Telefon, Adresse, Öffnungszeiten

## Optional

- [Impressum](https://ihre-firma.de/impressum)

Работает в браузере. Файл кладется как llms.txt в корневой каталог сайта.

Самая частая ловушка: группы ничего не наследуют

Краулер выполняет ровно ту группу, которая названа его именем. Если она есть, общее правило для него больше не действует, даже частично. В примере справа «User-agent: *» закрывает раздел /intern/, но GPTBot получает собственную группу с «Allow: /».

Результат для /intern/preise: ClaudeBot закрыт (строка 2: Disallow: /intern/ (группа *)), а GPTBot, напротив, может читать (строка 5: Allow: / (группа GPTBot)). Поэтому то, что должно быть закрыто для всех, нужно писать в каждую именованную группу. В генераторе такие разделы вы вносите один раз, он повторяет их везде.

User-agent: *
Disallow: /intern/

User-agent: GPTBot
Allow: /

Общий сигнал об обучении

С 30 октября 2026 года существует черновик IETF, который должен сократить поштучные запреты: группа «User-agent: __usage_ai-training» со строкой «Disallow: /» сообщает всем участвующим операторам сразу, что вы не хотите обучения. Пути работают как обычно, «Allow: /presse/» исключает папку для прессы. Группа не является командой для краулера, и общее правило «User-agent: *» для нее прямо не считается. Поскольку черновик новый и читают его еще не все операторы, генератор пишет и то и другое: отдельные группы и сигнал.

Кто учитывает сигнал об обучении, по собственным заявлениям
ПоставщикС какого момента
Anthropicс 30 октября 2026 г.; именованная группа ClaudeBot имеет приоритет
Microsoft (Bing)с 1 февраля 2027 г.
Googleпланируется на 2027 год; без собственной группы Google-Extended Google оценивает отказ так же, как закрытый Google-Extended
OpenAI«в ближайшие месяцы»; правила для GPTBot сохраняются

Источник: draft-kelley-aipref-training-preference-signal-00, без статуса стандарта, действует до 3 мая 2027 г. По состоянию на 14 ноября 2026 г.

Как краулер читает ваш robots.txt

С сентября 2022 года эта процедура закреплена как RFC 9309, и проверка считает по нему. Файл всегда лежит по адресу /robots.txt в корневом каталоге и действует только для этого конкретного хоста: если ihre-firma.de перенаправляет на www.ihre-firma.de, учитывается файл на www. Краулер ищет группу со своим именем, регистр не важен; если ее нет, он берет «User-agent: *», а если нет и ее, ему можно все. Внутри группы побеждает самое длинное подходящее правило, при равенстве — Allow. Звездочка означает любые символы, знак доллара в конце — конец адреса.

Еще в 2007 году обследование 7593 сайтов показало, что файл используется все чаще, и заодно показало, чем он является: правилом, которого придерживаются добросовестные краулеры, а не принуждением Sun и др., 2007. С тех пор ничего не изменилось.

Что означает код статуса robots.txt
ОтветRFC 9309Google
200, текстовый файлПравила действуют, читается не менее 500 KiBтак же, все после 500 KiB игнорируется
200, но веб-страницанет ни одной допустимой строки, значит, нет правилтак же
404 и другие 4xxrobots.txt нет, разрешено всеразрешено все, кроме 429
429 слишком много запросовкак 4xxкак ошибка сервера
5xx или недоступензакрыто все12 часов без обхода, затем до 30 дней последняя рабочая версия
Перенаправлениевыполняется не менее пятине менее пяти, затем как 404

Google хранит файл в кеше, как правило, до 24 часов, Amazon — до 30 дней. Поэтому изменения вступают в силу не сразу. Наш запрос следует не более чем по трем перенаправлениям. По состоянию на 14 ноября 2026 г.

Указания на самих страницах

Кроме robots.txt, есть указания для отдельных страниц: мета-тег в заголовке или X-Robots-Tag в ответе сервера. Проверка читает их на главной странице. Для ИИ важны прежде всего такие: noindex убирает страницу из поискового индекса, а значит, и из ИИ-обзоров; nosnippet запрещает Google показывать фрагмент текста, в том числе в ИИ-обзорах и в ИИ-режиме. Amazon читает noarchive как «не для обучения». Microsoft с 1 февраля 2027 года вводит собственные указания для обучения и подкрепления ответов данными (ai-training, ai-grounding), а noarchive и nocache с марта 2027 года больше не читает как указание для ИИ. Указания вроде «noai» распространены, но ни одним оператором из нашего списка не задокументированы.

Чего robots.txt не делает

  • Это просьба. В экспериментах со 130 именованными ботами за 40 дней боты реже выполняли строгие правила, а ИИ-поисковые краулеры часто вообще не запрашивали файл Kim и др., 2025.
  • Он действует только на имена. С помощью специально подготовленных сайтов удалось установить, какой краулер каким ИИ-системам поставляет данные, в том числе нескольким, о которых оператор не сообщает Seiden и др., 2026. Кто приходит под чужим именем, не подпадает ни под одно правило.
  • Запросы пользователей отчасти идут мимо. OpenAI, Perplexity, Meta, Amazon и Google сами пишут, что их запросы по просьбе пользователя не всегда соблюдают robots.txt. Anthropic и Mistral называют этот файл средством управления и для таких запросов.
  • Жесткие блокировки настраиваются на сервере. Художникам часто не хватало знаний или доступа к собственному сайту, чтобы настроить robots.txt; эффективнее защищали блокировки на обратном прокси (reverse proxy) Liu и др., 2025. И наоборот, некоторые хостеры и конструкторы сайтов блокируют краулеры, а владелец об этом не знает: в одном снимке Common Crawl около 1,68 процента сайтов явно отклоняли краулер Ansar и др., 2025. Если ваша главная страница отвечает на наш запрос страницей проверки, проверка об этом сообщит.
  • Наш запрос — не ИИ-краулер. Сервер обращается под собственным идентификатором. Если межсетевой экран блокирует краулеры по имени, например через настройку в Cloudflare, проверка этого не увидит.

А что с юридической стороной?

Согласно § 44b Abs. 3 UrhG, анализ текста и данных (Text und Data Mining) в отношении свободно доступных произведений разрешен, пока правообладатель не сделал оговорку, а для содержимого в сети учитывается только оговорка в машиночитаемой форме. robots.txt машиночитаем, но достаточно ли его в качестве оговорки, окончательно не выяснено. Одна юридическая работа обосновывает для стран общего права, что обход этого файла при определенных обстоятельствах может повлечь ответственность Chang и He, 2025; для Германии это нужно проверять отдельно. Кто хочет заявить такую оговорку, пишет ее дополнительно в импрессуме или в условиях использования. Это не юридическая консультация.

llms.txt: что файл умеет, а что нет

llms.txt предложил Джереми Говард (Jeremy Howard) 3 сентября 2024 года, описание есть на llmstxt.org. Это файл Markdown по адресу /llms.txt: заголовок с названием (это единственная обязательная часть), затем краткое описание в виде цитаты, по желанию несколько предложений и разделы со списками ссылок на важнейшие страницы. Раздел «Optional» содержит то, что ассистент может пропустить.

Измерение примерно на 4 миллионах доменов показало, что файл встречается в основном у технологических фирм, а некоторые его ссылки вели на страницы, которые закрывает собственный robots.txt Hoffmann и др., 2026. Именно это проверяет наша проверка. Указатель на закрытые страницы ведет в никуда.

Честно говоря: Google пишет в документации к ИИ-обзорам, что для них не нужно создавать новые машиночитаемые файлы, и ни один из учтенных здесь операторов не пишет в документации к краулеру, что читает llms.txt чужих сайтов. То есть это не рычаг для видимости. Тем не менее он полезен как короткое аккуратное описание о себе, которое ассистент может прочитать при запросе пользователя, и потому что делается за десять минут.

Наш собственный лежит по адресу aureum-tech.com/llms.txt. Заготовку для вашего строит генератор выше.

Право читать — еще не значит быть названным

Проверка отвечает на предварительный вопрос. Назовет ли ChatGPT вашу фирму, если кто-то ищет электрика в Плауэне, зависит от содержимого ваших страниц и от того, что пишут о вас другие. В экспериментах видимость источников в ответах ИИ удавалось повысить за счет подготовки содержимого до 40 процентов, причем в разных областях помогали разные средства Aggarwal и др., 2024. В одном измерении 55 393 поисковых запросов в Google ИИ-обзор появился в 13,7 процента случаев, а на вопросы — в 64,7 процента, и почти 30 процентов процитированных там доменов не входили в результаты первой страницы Xu и др., 2026.

Быть упомянутым — еще не значит быть правильно процитированным. В четырех ИИ-поисковых системах в среднем лишь чуть больше половины предложений подтверждались указанными источниками Liu и др., 2023. А тот, кто блокирует ИИ-краулер Google, реже привлекается как источник в ИИ-обзорах, хотя Google пишет, что переключатель на поиск не влияет Grossman и др., 2026.

Насколько ваша фирма действительно заметна в ChatGPT, Perplexity и ИИ Google, показывает быстрая проверка SpotLens. О том, как мы строим содержимое и структурированные данные, чтобы ИИ-поиск их цитировал, написано в разделе AI-SEO. Кто сначала хочет посмотреть сам, найдет в советах, как проверить видимость в ChatGPT и что значит ИИ-видимость для компаний. Отдельные правила вы проверите в тестере robots.txt, другие инструменты для поиска сайта — в разделе SEO и видимость.

Что об этом говорят исследования

Оценка в проверке опирается на 15 рецензируемых работ. Важнейшие выводы, а полный список с отметкой о проверке — ниже.

  • Блокировок становится больше, и неравномерно. За один год значительная часть источников, стоящих за данными для обучения ИИ, была закрыта, у разных операторов по-разному Longpre и др., 2024. Поэтому проверка показывает краулеры по отдельности.
  • Правила выполняются выборочно. Чем строже правило, тем реже боты его соблюдали Kim и др., 2025. Поэтому проверка не измеряет то, чего измерить не может, и прямо об этом говорит.
  • Обучение идет через архивы. Common Crawl — один из важнейших источников для предварительного обучения Baack, 2024, а корпуса вроде C4 возникают из отдельных снимков Dodge и др., 2021. Поэтому проверка предупреждает, если CCBot остается открытым.
  • ИИ-обзоры выбирают собственные источники. Многие процитированные домены не стоят на первой странице Xu и др., 2026, а блокировка ИИ-краулеров связана с более редкими упоминаниями Grossman и др., 2026.
  • llms.txt еще молод и часто противоречив. Ссылки в файле иногда ведут на закрытые страницы Hoffmann и др., 2026; проверка проверяет каждую собственную ссылку.

Как пользоваться этим инструментом из ИИ-ассистента

Ассистенты вроде Claude или ChatGPT, которые поддерживают Model Context Protocol (MCP), могут напрямую вызвать расчет с этой страницы, а не воспроизводить его сами. Сервер открыт для всех, не требует регистрации и ничего не сохраняет. В ответе всегда есть ссылка на эту страницу, дата актуальности данных и пределы применимости результата.

Эндпоинт
https://aureum-tech.com/mcp
Инструмент
werkzeug_ki_crawler_check
Транспорт
Streamable HTTP, только чтение
Входные данные
НазваниеОбязательноЧто означает
domainнетДомен сайта, например ihre-firma.de или https://www.ihre-firma.de. Путь игнорируется: robots.txt всегда находится в корневом каталоге. Только общедоступные сайты, порты 80 и 443.
robots_txtнетВместо домена можно передать текст robots.txt. Тогда инструмент проверит его без обращения к сайту. Не указывайте одновременно с domain.
pfadнетПроверяемый путь, например /blog/artikel. По умолчанию используется главная страница «/».

Вопросы, при которых ассистенту стоит его вызвать

  • «Может ли ChatGPT читать мой сайт handwerk-muster.de?»
  • «Не блокирует ли наш robots.txt поиск в Perplexity и ChatGPT по ошибке?»
  • «Как запретить обучение ИИ, сохранив видимость в поиске ChatGPT и Claude?»
  • «Есть ли у www.beispiel-praxis.de файл llms.txt и ведут ли его ссылки на заблокированные страницы?»

Как устроено подключение и что MCP может дать вашей фирме, описано на странице об MCP-интеграциях.

Частые вопросы об ИИ-краулерах, robots.txt и llms.txt

Как запретить обучение ИИ, не пропав из поиска ChatGPT?

OpenAI разделяет эти задачи: GPTBot собирает данные для обучения, OAI-SearchBot работает на поиск в ChatGPT, и каждая настройка действует сама по себе. В robots.txt для GPTBot пишется «Disallow: /», для OAI-SearchBot — «Allow: /». У Anthropic то же самое с ClaudeBot и Claude-SearchBot, а у Google вы блокируете Google-Extended и не трогаете Googlebot. Генератор на этой странице пишет весь блок сразу для всех учтенных операторов.

Чем отличаются GPTBot, OAI-SearchBot и ChatGPT-User?

GPTBot собирает материалы, которые могут попасть в обучение будущих моделей. OAI-SearchBot строит индекс, из которого ChatGPT при поиске берет источники; если его заблокировать, то, по данным OpenAI, сайт не будет появляться там в ответах. ChatGPT-User загружает одну страницу, потому что кто-то прямо сейчас спросил о ней в чате. Правила robots.txt для такого запроса, по словам OpenAI, могут не действовать.

Пропадет ли мой сайт из Google, если я заблокирую Google-Extended?

Нет. Google-Extended — это не отдельный краулер, а переключатель: можно ли Google использовать загруженное для обучения Gemini и для подкрепления ответов Gemini данными из сети. По данным Google, он не влияет ни на попадание в поиск, ни на ранжирование. ИИ-обзоры в поиске Google зависят от Googlebot и от правил для сниппетов, например nosnippet. Правда, одно измерение 2026 года показало, что сайты с заблокированным ИИ-краулером Google реже становятся источником в ИИ-обзорах.

Нужен ли мне файл llms.txt?

Обязательным он не является. llms.txt — это предложение Джереми Говарда (Jeremy Howard) от сентября 2024 года: файл в формате Markdown с заголовком, кратким описанием и ссылками на самые важные страницы. Google прямо пишет, что для ИИ-обзоров новые машиночитаемые файлы не нужны, и ни один из учтенных здесь операторов не пишет в документации к краулеру, что читает такой файл. Вреда от него нет, и делается он быстро; заготовку для него даст генератор. Важнее, чтобы ссылки в нем не вели на закрытые страницы.

Все ли краулеры соблюдают robots.txt?

Нет. robots.txt — это просьба, а не замок. Измерения показывают, что боты реже выполняют более строгие правила, а ИИ-поисковые краулеры часто вообще не запрашивают этот файл. Запросы по просьбе пользователей, такие как ChatGPT-User, Perplexity-User или meta-externalfetcher, по заявлениям их операторов, иногда обходят robots.txt, а тот, кто собирает данные без имени, не попадает ни под одно правило. Кто хочет закрыть сайт по-настоящему, тому нужна блокировка на сервере или у хостера.

Действует ли запрет на модели, которые уже обучены?

Нет. OpenAI и Anthropic описывают запрет как указание для будущего обучения. Данные для обучения берутся из фиксированных снимков сети, например из архива Common Crawl; то, что там уже лежит, там и остается. Поэтому, если вы не хотите обучения, стоит учитывать и CCBot.

Что значит «User-agent: __usage_ai-training»?

Это общий сигнал об обучении по черновику IETF от 30 октября 2026 года. Группа с таким именем и строкой «Disallow: /» сообщает всем участвующим операторам сразу, что вы не хотите обучения. По собственным заявлениям, Anthropic его уже учитывает, Microsoft будет учитывать с 1 февраля 2027 года, Google планирует на 2027 год, OpenAI — в ближайшие месяцы. Это не команда для краулера, и группа «User-agent: *» для него прямо не считается.

Где заканчиваются возможности проверки ИИ-краулеров?

Она читает правила вашего robots.txt, файл llms.txt и указания для роботов на главной странице и по каждому краулеру говорит, что разрешено. Соблюдает ли краулер эти правила, она не измеряет, и знает ли ИИ-ассистент вашу фирму и рекомендует ли ее, тоже не показывает. Это показывает быстрая проверка SpotLens; как должно быть устроено содержимое, чтобы ИИ-поиск его цитировал, написано в разделе AI-SEO. Файлы мы по желанию настроим за вас.

На что опирается этот инструмент

Ориентировочные значения и подсказки выше основаны на этих 15 научных работах. Каждую мы проверили по DOI или на сайте издательства (последний раз 14 ноября 2026 г.): она существует, не отозвана, и ее выводы по-прежнему применимы к этому вопросу.

  1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), с. 1123–1124

    Результат Пять обследований 7 593 сайтов показали, что robots.txt используется все чаще. Файл задает правила для добросовестных краулеров и не блокирует доступ сам по себе.

    Как это учтено в инструменте robots.txt сообщает краулерам о пожеланиях владельца сайта. Ограничивать доступ нужно отдельно.

  2. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), с. 1101–1102

    Результат Большинство коммерческих краулеров в целом соблюдали правила. Многие при этом регулярно нарушали или неверно трактовали отдельные директивы robots.txt.

    Как это учтено в инструменте Генератор выносит каждую группу отдельно и использует только Allow и Disallow без подстановочных знаков.

  3. Kim, T.; Bock, K.; Luo, C. и др. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), с. 541–557

    Результат В ходе контролируемого эксперимента с 130 ботами с известными именами за 40 дней боты реже соблюдали более строгие ограничения. Краулеры ИИ-поиска часто вообще не запрашивали robots.txt.

    Как это учтено в инструменте Проверка разбирает правила без измерения поведения краулеров. Это важно и для ограничений запросов от имени пользователя.

  4. Liu, E.; Luo, E.; Shan, S. и др. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), с. 78–99

    Результат Измерения и опрос 203 художников выявили потребность в robots.txt. Мешают недостаток знаний и отсутствие доступа к настройкам собственного сайта. Блокировки на обратном прокси оказались эффективнее, но применяются редко.

    Как это учтено в инструменте Для принудительной блокировки рекомендуется настроить ограничение у хостера или на прокси. Генератором можно пользоваться без специальных знаний.

  5. Seiden, S.; Ren, T.; Zhang, C. и др. (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026), с. 6998–7012

    Результат С помощью специально подготовленных сайтов и 22 ИИ-систем авторы определили, какие краулеры загружают данные для каких моделей. Среди них оказались и краулеры, которых операторы не раскрывают.

    Как это учтено в инструменте В таблицу входят только краулеры, которые операторы документируют под их собственными именами.

  6. Longpre, S.; Mahari, R.; Lee, A. и др. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), с. 108042–108087

    Результат Проверка 14 000 доменов, служивших источниками обучающих данных, за год выявила значительный рост числа ограничений, заметные различия между ИИ-компаниями и частые противоречия между условиями использования и robots.txt.

    Как это учтено в инструменте Доступ показан для каждого краулера отдельно. Общий статус для всего ИИ был бы недостаточно точен.

  7. Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024), с. 2199–2208

    Результат Common Crawl — крупнейшая общедоступная коллекция веб-данных и один из основных источников для предварительного обучения больших языковых моделей. На нее часто приходится значительная часть обучающих материалов.

    Как это учтено в инструменте CCBot включен в раздел обучения. Проверка предупреждает, если некоторые краулеры для обучения заблокированы, а у CCBot остался доступ.

  8. Dodge, J.; Sap, M.; Marasović, A. и др. (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), с. 1286–1305

    Результат Корпус C4 создан на основе одного снимка Common Crawl. В него попали тексты из неожиданных источников, в том числе патентов и сайтов военных ведомств.

    Как это учтено в инструменте Обучающие корпуса составляются из снимков. Новый запрет доступа не меняет данные, уже попавшие в снимок.

  9. Aggarwal, P.; Murahari, V.; Rajpurohit, T. и др. (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), с. 5–16

    Результат Подачу материалов можно изменить так, что их цитирование в ИИ-поиске станет до 40% заметнее. Эффективность приемов зависит от темы.

    Как это учтено в инструменте Доступ создает возможность цитирования. Будет ли источник процитирован, зависит от его содержания. Подробнее об этом в разделе AI-SEO.

  10. Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, с. 7001–7025

    Результат В четырех ИИ-поисковиках источники полностью подкрепляли в среднем лишь немногим больше половины предложений. Около четверти ссылок не подтверждали связанные с ними утверждения.

    Как это учтено в инструменте Открытый доступ не гарантирует корректного цитирования. Инструмент проверяет доступ к материалу. Текст ответа ИИ в эту проверку не входит.

  11. Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026), с. 529–546

    Результат Среди 55 393 запросов ИИ-обзор появился в 13,7% случаев. Для запросов в форме вопроса показатель составил 64,7%. Почти 30% процитированных доменов не входили в выдачу на первой странице.

    Как это учтено в инструменте Googlebot включен в проверку, потому что ИИ-обзоры берут источники из поискового индекса, в том числе за пределами первых результатов.

  12. Grossman, R.; Liu, S.; Chen, M. K. и др. (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), с. 448–459

    Результат В исследовании 11 500 запросов источники в поиске Google, ИИ-обзорах и Gemini сильно различались. Сайты, блокирующие ИИ-краулеры Google, реже служили источниками для ИИ-обзоров.

    Как это учтено в инструменте При блокировке Google-Extended проверка показывает и этот результат, и заявление Google о том, что директива не влияет на поиск.

  13. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, с. 29–41

    Результат Замеры примерно на 4 миллионах доменов показали, что robots.txt остается главным средством управления доступом. Специальные файлы для ИИ, такие как ai.txt и llms.txt, появляются в основном у технологических компаний. Некоторые ссылки в llms.txt ведут на страницы, заблокированные в robots.txt.

    Как это учтено в инструменте Проверка показывает, ведут ли ссылки из llms.txt на страницы, закрытые правилами robots.txt.

  14. Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, статья 106176

    Результат С развитием генеративного ИИ игнорирование robots.txt может иметь более серьезные последствия. По мнению авторов, в странах общего права файл при определенных условиях может действовать как односторонний договор или как предупреждение, влияющее на ответственность.

    Как это учтено в инструменте У robots.txt есть и правовая сторона. В Германии ее нужно оценивать отдельно.

  15. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, с. 197–214

    Результат Примерно 1,68% сайтов в одном снимке Common Crawl явно отклонили запросы краулера. Часто у крупных хостеров и платформ-конструкторов срабатывала блокировка или показывалась страница проверки.

    Как это учтено в инструменте Если главная страница возвращает страницу проверки, инструмент сообщает об этом. Защита от ботов может действовать независимо от robots.txt.

Стандарты, ведомства и данные производителей

Пн–пт, 8:00–17:00

Пришлите результаты проверки. Мы настроим robots.txt, llms.txt и структурированные данные так, чтобы ИИ-поиск мог читать страницы, а разрешения на обучение соответствовали вашим пожеланиям. Работаем в Родевише (Rodewisch) и по всему Фогтланду (Vogtland).

+49 3744 4399760[email protected]

Пн–пт, 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch

Заказать настройку доступа для ИИ
+49 3744 4399760Пн–пт, 8:00–17:00
ПозвонитьОбратный звонок

ПЕРЕЧЕНЬ ДЕТАЛЕЙ · ЛИСТ 1/1

Из чего состоит эта страница

Значения измерены при сборке сайта. Если включен JavaScript, ваш браузер прямо сейчас измеряет их заново.

ПОЗ.ДЕТАЛЬТИПРАЗМЕР
01index.htmlДокумент≈ 29 КБ
02styles.cssТаблица стилей≈ 20 КБ
03scripts.jsСкрипт≈ 13 КБ
04archivo-variable.woff2Шрифт≈ 58 КБ
05ibm-plex-mono.woff2Шрифт≈ 30 КБ
06favicon.svgГрафика< 1 КБ

Рекламные и аналитические cookie: нет. Без вашего согласия страница ничего не загружает с чужих серверов, кроме Cloudflare — сервиса, через который мы доставляем сайт. Шрифты, скрипты и графика лежат у нас. По тому же принципу мы выстраиваем и вашу IT-инфраструктуру.

В НЕРАБОЧЕЕ ВРЕМЯ

Звоните все равно, не стесняйтесь

Обычно мы в офисе с понедельника по пятницу, 8:00–17:00.

По вечерам и в выходные звонки на этот номер тоже переадресуются нам, и часто кто-нибудь берет трубку. Обещать этого мы не можем.

Если никто не ответил, оставьте короткое сообщение на автоответчике: имя, номер и в чем дело. Мы перезвоним как можно скорее, не позже следующего рабочего дня.

Сам разговор бесплатный. Если в нерабочее время нужно, чтобы кто-то сразу взялся за дело, действует надбавка из прайс-листа.

Позвонить сейчас+49 3744 4399760

Удобнее написать? Через форму обратной связи или на [email protected]. Прочитаем на следующий рабочий день.

ДИАГНОСТИКА · AT-K2

С чем вам помочь?

↵ ВЫБРАТЬESC ЗАКРЫТЬПОЗВОНИТЬ: +49 3744 4399760

Индивидуальные настройки

Каким сервисам разрешить загрузку?

Технически необходимое

Ваш выбор, сделанный здесь, а также настройки цветовой темы и анимации. Эти данные хранятся в виде небольших записей на вашем устройстве и никогда не отправляются на сервер. Они нужны для работы сайта, поэтому отключить их нельзя.