Инструмент AT-W48РЕД. 2026-A

Тестер robots.txt: может ли Googlebot читать эту страницу?

То, может ли Googlebot загрузить страницу, решает одна строка в robots.txt: самое длинное подходящее правило группы, которая действует для этого краулера. Вставьте свой файл и укажите пути или полные адреса. Тестер покажет для Googlebot, Bingbot, GPTBot и других краулеров, разрешен или заблокирован путь и какая строка это решает. Он сразу сообщит и о том, что Google читает иначе, чем предписывает стандарт.

  • бесплатно
  • без регистрации
  • Текст остается в браузере

Вставьте robots.txt и проверьте каждый путь

Тестер · robots.txt по RFC 9309

Проверка выполняется по RFC 9309 с учетом подтвержденных особенностей отдельных краулеров. Следовать правилам или нет, решает оператор краулера.

Откройте ihre-firma.de/robots.txt в браузере и скопируйте весь текст. Получить файл можно в проверке ИИ-краулеров.

До 50. У полных адресов учитываются путь и параметры, например /shop?sort=preis.

Для каких краулеров?
Поисковые системы · 6
Другие краулеры Google · 3
ИИ-краулеры · 24

Укажите название, которое оператор называет для robots.txt (продуктовый токен), а не всю строку идентификации браузера.

Тестер работает в браузере. Текст и адреса не покидают ваше устройство.

Результат

Вставьте свой robots.txt и укажите пути. Для пробы есть пример.

Как краулер решает, загружать ли страницу

С сентября 2022 года порядок закреплен в RFC 9309; до этого это была договоренность 1994 года, которой крупные краулеры следовали с разной точностью Sun и др. 2010. Тестер работает по RFC в таком порядке:

  1. Файл. Он находится в /robots.txt в корневом каталоге и действует только для этого хоста с протоколом и портом. Файл на ihre-firma.de не действует для www.ihre-firma.de и shop.ihre-firma.de.
  2. Группа. Краулер ищет группу со своим именем, регистр не важен. Несколько групп с одинаковым именем объединяются. Если такой нет, действует «User-agent: *», а если нет и ее — разрешено все.
  3. Правило. В группе побеждает правило Allow или Disallow с наибольшим числом символов, подходящее к началу пути. При одинаковой длине побеждает Allow. Порядок строк не важен.
  4. Символы. Звездочка означает любое число символов, знак доллара в конце — конец адреса. Регистр в пути важен. Умлауты краулер сравнивает в процентном кодировании, поэтому «/über» и «/%C3%BCber» — одно и то же.
  5. Исключение. Сам robots.txt может загрузить любой, а строки Sitemap действуют независимо от групп.
КАКАЯ ГРУППА ДЕЙСТВУЕТ?КРАУЛЕР/robots.txtСОБСТВЕННАЯГРУППАИНАЧЕ ГРУППА*ИНАЧЕ ВСЕРАЗРЕШЕНОКАКОЕ ПРАВИЛО ДЕЙСТВУЕТ?ПУТЬПОДХОДЯЩИЕ ПРАВИЛАСАМОЕ ДЛИННОЕПОБЕЖДАЕТ, ПРИ РАВНОЙДЛИНЕ: ALLOWРАЗРЕШЕНО ИЛИЗАБЛОКИРОВАНАКАКАЯ ГРУППА ДЕЙСТВУЕТ?КРАУЛЕР/robots.txtСОБСТВЕННАЯ ГРУППАИНАЧЕ ГРУППА *ИНАЧЕ ВСЕ РАЗРЕШЕНОКАКОЕ ПРАВИЛО ДЕЙСТВУЕТ?ПУТЬПОДХОДЯЩИЕ ПРАВИЛАСАМОЕ ДЛИННОЕ ПОБЕЖДАЕТ, ПРИ РАВНОЙДЛИНЕ: ALLOWРАЗРЕШЕНО ИЛИ ЗАБЛОКИРОВАНО
РИС. 1 · КАК КРАУЛЕР ЧИТАЕТ ROBOTS.TXTЗОЛОТОЙ ЦВЕТ = ВАШ ФАЙЛ · ДВА ВОПРОСА, КОТОРЫЕ РЕШАЮТСЯ ПО ОЧЕРЕДИ

На что срабатывает шаблон

Примеры, рассчитанные той же функцией, что и тестер
Шаблонподходит дляне подходит для
/fisch/fisch, /fisch.html, /fischkopf/rezept/Fisch, /katalog/fisch
/fisch//fisch/, /fisch/?sorte=lachs/fisch, /fisch.html
/*.php/index.php, /ordner/seite.php?id=1/, /seite.PHP
/*.php$/seite.php/seite.php?id=1, /seite.php5
/*?s=/?s=preise, /blog/?s=test/blog/?seite=2

Сравнение всегда начинается с начала пути, поэтому /fisch не подходит к /katalog/fisch. Если имеется в виду «везде», поставьте перед ним звездочку.

Побеждает самое длинное правило

В примере группа блокирует магазин, но делает исключение для предложений. Для /shop/angebote/herbst тестер рассчитывает: разрешено строкой 3 «Allow: /shop/angebote/» в группе «User-agent: *». Это самое длинное из 2 подходящих правил: 15 символов. Для /shop/kasse результат, напротив, заблокирован, поскольку подходит только более короткое правило.

Коммерческие краулеры долгое время неоднократно нарушали или неверно понимали отдельные правила Giles и др. 2010. После RFC расчет стал однозначным, но не каждый краулер ему следует. Поэтому тестер сообщает о строках, которые краулеры читают по-разному.

User-agent: *
Disallow: /shop/
Allow: /shop/angebote/

Самая частая ловушка: группы ничего не наследуют

Если краулер получает собственную группу, общая группа больше к нему не относится, даже частично. В примере /intern/ должен быть закрыт для всех, но Googlebot получает отдельную группу для черновиков. Результат для /intern/preise: Bingbot заблокирован, а Googlebot разрешен. Поэтому то, что должно действовать для всех, нужно указывать в каждой именованной группе.

Именованные группы распространены. В раннем исследовании 2 925 файлов robots.txt крупные поисковые системы через собственные группы обычно получали больше доступа, чем другие Sun и др. 2007b; более позднее исследование около 6 миллионов сайтов не выявило заметного предпочтения Kolay и др. 2008. Намеренно это или нет, тестер показывает для каждого выбранного краулера действующую группу и в обзоре — для кого действует каждая группа.

User-agent: *
Disallow: /intern/

User-agent: Googlebot
Disallow: /entwurf/

Где Google читает robots.txt иначе, чем стандарт

Google участвовал в создании RFC и в основном ему следует. В некоторых местах парсер Google более снисходителен или строже, а документация определяет то, что RFC оставляет открытым. Тестер считает по RFC и отмечает каждое такое место, чтобы файл работал одинаково у всех краулеров.

Сравнение RFC 9309 и Google, документация Google актуальна на 23 октября 2026 года
ПунктRFC 9309Google
Размер файлачитать не менее 500 КиБне более 500 КиБ, остальное игнорируется
Кэшне более 24 часов, кроме случая, когда файл недоступенобычно до 24 часов, дольше при неудачном обновлении
Перенаправлениевыполняется не менее пятине менее пяти, затем как 404
404 и другие 4xxrobots.txt нет, разрешено всето же, за исключением 429
5xx или недоступенвсе заблокировано; спустя длительное время (например, 30 дней) — как при отсутствии файла либо сохраненная версия12 часов без сканирования, затем до 30 дней последняя хорошая версия (без нее — без ограничений), после этого как без файла, если сайт в остальном доступен
Директивыuser-agent, allow, disallow; другие строки краулер может интерпретировать, например sitemapтолько user-agent, allow, disallow и sitemap; noindex, nofollow и crawl-delay не действуют с 1 сентября 2019 года
Опечатки, нет двоеточиястрока не учитываетсяпарсер Google все же читает некоторые опечатки, например «Disalow», и строки без двоеточия
Имя с дополнениемимена состоят только из букв, - и _«googlebot/1.2» и «googlebot*» считаются «googlebot»
Умлауты, специальные символыкодировать в процентах перед сравнениемсравнивает в процентном кодировании
Sitemapкраулер может интерпретироватьполный адрес с протоколом и хостом, может находиться на другом хосте

Источники: RFC 9309, Google о robots.txt (актуально на 23 октября 2026 года), блог Google от 2 июля 2019 года, парсер Google. Проверено 14 ноября 2026 года.

У других поисковых систем есть свои особенности. Bing учитывает Crawl-delay и при отсутствии отдельной группы bingbot читает группу msnbot; Yandex не учитывает Crawl-delay с 22 февраля 2018 года и имеет группу «User-agent: Yandex» для всех своих роботов. Краулер Apple при отсутствии отдельной группы следует группе Googlebot, а рекламные краулеры Google полностью обходят общую группу. В таблице ниже указано, что из этого учитывает тестер.

Какие имена указывать в robots.txt

В строке User-agent должен быть продуктовый токен — короткое имя, которое оператор указывает для robots.txt: «Googlebot», а не полная строка идентификации из журнала сервера. Список в тестере содержит только имена, документированные их операторами, и учитывает особые правила только там, где они описаны.

Поисковые системы и краулеры Google, проверено 14 ноября 2026 года по документации операторов
Имя в robots.txtОператорДля чегоОсобенность
GooglebotGoogleПоиск Google, включая ИИ-обзорыПри отсутствии отдельной группы действует «*».
Googlebot-ImageGoogleGoogle КартинкиПри отсутствии отдельной группы следует группе Googlebot.
bingbotMicrosoftBing и CopilotПри отсутствии отдельной группы следует группе msnbot, затем «*». Учитывает Crawl-delay.
ApplebotAppleSiri, Spotlight, SafariПри отсутствии отдельной группы следует группе Googlebot.
DuckDuckBotDuckDuckGoсобственный индекс DuckDuckGoПри отсутствии отдельной группы действует «*».
YandexBotЯндексПоиск ЯндексаПри отсутствии отдельной группы следует группе Yandex. Crawl-delay не действует с февраля 2018 года.
Storebot-GoogleGoogleGoogle ShoppingGoogle не документирует резервную группу; тестер рассчитывает по RFC 9309 с «*».
AdsBot-GoogleGoogleПроверяет целевые страницы Google AdsОбходит группу «*». Заблокировать его можно только собственной группой.
Mediapartners-GoogleGoogleAdSense и Ad ManagerОбходит группу «*». Заблокировать его можно только собственной группой.

Также есть 24 идентификатора поставщиков ИИ, включая GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User. С 2023 года сайты все чаще и очень по-разному блокируют поставщиков ИИ, при этом условия использования и robots.txt часто противоречат друг другу Longpre и др. 2024. Измерение примерно 4 миллионов доменов показывает, что robots.txt остается главным средством, а ИИ-агенты там чаще всего ограничиваются строками Disallow Hoffmann и др. 2026. Для чего читает каждый ИИ-краулер, указано в проверке ИИ-краулеров; там же можно сразу получить ваш настоящий robots.txt.

Создать robots.txt для типичных случаев

Тому, кому нужен robots.txt, редко хочется изучать специальные термины. В опросе 203 художников желание иметь такой файл было сильным, но знания о нем и доступ к собственному сайту часто отсутствовали Liu и др. 2025. Поэтому генератор спрашивает только, что краулеры должны читать, и создает простые строки Allow и Disallow без хитростей. По кнопке «Проверить в тестере» текст попадет в тестер выше.

Генератор · robots.txt для типичных случаев

robots.txt регулирует только сканирование. Он не защищает данные, потому что его может прочитать любой, и не исключает страницу из индекса Google: заблокированный адрес может появиться в результатах без описания, если на него ссылаются другие страницы.

Что разрешить читать краулерам?
Какие разделы заблокировать?

С косой чертой в конце правило блокирует только каталог. Без нее /intern подходит и к /internes-handbuch.

По две строки на имя: для ?name= и &name=. Так «sort» не совпадет с «resort».

С https:// и доменом, иначе строка не добавляется.

# robots.txt, erstellt mit dem robots.txt-Tester von aureum-tech.com (Stand 14. November 2026)
# Regelt nur das Crawlen. Schützt keine Daten und nimmt keine Seite aus dem Google-Index.
User-agent: *
Disallow:

Генератор работает в браузере и ничего не отправляет. Файл должен находиться в корневом каталоге как robots.txt; для каждого поддомена нужен отдельный файл.

Строка Sitemap почти всегда полезна. Переходы по ссылкам и Sitemap дополняют друг друга: на миллиардах адресов в Google страницы без входящих ссылок и новый контент быстрее попадали в поле зрения через Sitemap Schonfeld и Shivakumar 2009. Строка требует полный адрес и действует для всех групп.

Чего robots.txt не делает

  • Она ничего не исключает из индекса. По данным Google, robots.txt не предназначен для исключения страницы из Google. Заблокированный адрес, на который ссылаются другие страницы, может появиться в результатах без описания. Исключить его можно с помощью noindex, но Google увидит его только если сможет прочитать страницу.
  • Она ничего не защищает. Файл публичен и содержит список заблокированных путей; RFC прямо говорит, что он не заменяет защиту доступа. Следовать ему или нет — решение оператора краулера Thelwall и Stuart 2006. Конфиденциальные данные должны быть защищены паролем.
  • Это просьба. Уже первые крупные исследования описывали файл как правило, которому следуют добросовестные краулеры, а не как средство принуждения Sun и др. 2007a. В опытах с 130 названными ботами в течение 40 дней боты реже соблюдали более строгие правила, а поисковые ИИ-краулеры часто вообще не запрашивали файл Kim и др. 2025.
  • Она действует только по имени. Надежно распознать ботов нельзя: ни один из распространенных методов не работает надежно во всех случаях Doran и Gokhale 2011. Тот, кто приходит под чужим именем, не попадает под правило.
  • Жесткие блокировки находятся на сервере. От ИИ-краулеров блокировки на обратном прокси защищали эффективнее, чем robots.txt Liu и др. 2025. И наоборот, некоторые хостеры и конструкторы сайтов отклоняют краулеров еще до того, как robots.txt вообще будет учтен: в выборке Common Crawl это было около 1,68 процента сайтов Ansar и др. 2025. Тогда даже самая хорошая строка Allow не поможет.
  • Тестер работает с вашим текстом. Отдает ли сервер именно этот файл со статусом 200 и как текст, проверит проверка ИИ-краулеров настоящим запросом.

Тестер отвечает на предварительный вопрос. Есть ли ваши страницы в Google на самом деле и что мешает, если их там нет, показывает Quick-Check от SpotLens. Первые шаги для самостоятельной проверки приведены в руководстве Сайт не найден в Google, а о том, как мы делаем сайты в Родевише (Rodewisch) и Фогтланде заметными, — в разделе SEO. Другие инструменты для видимости находятся в разделе SEO и видимость.

Как пользоваться этим инструментом из ИИ-ассистента

Ассистенты вроде Claude или ChatGPT, которые поддерживают Model Context Protocol (MCP), могут напрямую вызвать расчет с этой страницы, а не воспроизводить его сами. Сервер открыт для всех, не требует регистрации и ничего не сохраняет. В ответе всегда есть ссылка на эту страницу, дата актуальности данных и пределы применимости результата.

Эндпоинт
https://aureum-tech.com/mcp
Инструмент
werkzeug_robots_txt_tester
Транспорт
Streamable HTTP, только чтение
Входные данные
НазваниеОбязательноЧто означает
robots_txtдаПолный текст robots.txt, размещенный по адресу /robots.txt.
pfadeнетДо 50 путей или полных URL, например «/kontakt» или «https://www.firma.de/blog?seite=2». У URL учитываются путь и Query. По умолчанию «/».
crawlerнетПродуктовые токены краулеров, например Googlebot, bingbot, GPTBot; «*» — для любого краулера без собственной группы. Известные: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. Другие имена проверяются по RFC 9309. По умолчанию: Googlebot, bingbot, GPTBot, ClaudeBot, *.

Вопросы, при которых ассистенту стоит его вызвать

  • «Может ли Googlebot загрузить /wp-admin/admin-ajax.php с этим robots.txt?»
  • «Почему моя блокировка в «User-agent: *» не действует для GPTBot?»
  • «Какая строка моего robots.txt блокирует https://www.firma.de/shop?sort=preis для Bingbot?»
  • «Является ли «Disalow: /intern/» в моем robots.txt ошибкой и все равно читает ли Google эту строку?»

Как устроено подключение и что MCP может дать вашей фирме, описано на странице об MCP-интеграциях.

Частые вопросы о robots.txt

Исключает ли «Disallow» страницу из индекса Google?

Нет. Disallow запрещает только загрузку страницы. Если другие страницы ссылаются на адрес, Google все равно может включить его в результаты — но без описания. Чтобы страница исчезла, Google должен иметь возможность прочитать ее и найти там noindex в метатеге или заголовке X-Robots-Tag; иначе страница должна отвечать 404 или 410 либо быть защищена паролем. Сочетание блокировки и noindex дает обратный результат: Google никогда не увидит noindex.

Почему моя блокировка в «User-agent: *» не действует для Googlebot?

Потому что для Googlebot есть отдельная группа. Краулер следует группе со своим именем и только при ее отсутствии — общей группе «*». Поэтому то, что там запрещено, должно быть указано и в каждой именованной группе. Тестер показывает у каждого результата, какая группа действует.

Что имеет приоритет, если Allow и Disallow подходят к одному пути?

Приоритет у правила с наибольшим числом символов. При одинаковой длине побеждает Allow, порядок строк в файле не важен. Поэтому при «Disallow: /shop/» и «Allow: /shop/angebote/» путь /shop/angebote/ остается открытым, а остальная часть магазина — нет.

Как быстро измененный robots.txt начинает действовать в Google?

Google обычно хранит файл до 24 часов, а если обновление не удалось — и дольше. До этого действуют старые правила. Поэтому сначала проверьте изменение здесь и только потом загрузите файл.

Можно ли защитить конфиденциальные разделы с помощью robots.txt?

Нет. Файл публичен: его может открыть любой, и он даже раскрывает заблокированные пути. Это прямо сказано в стандарте: файл не заменяет защиту доступа. Конфиденциальные данные должны быть за авторизацией или защитой паролем на сервере.

Учитывает ли Google Crawl-delay или Noindex в robots.txt?

Нет. Google читает только user-agent, allow, disallow и sitemap. Noindex, nofollow и crawl-delay в robots.txt не действуют в Google с 1 сентября 2019 года. Bing учитывает Crawl-delay, Yandex — уже нет с февраля 2018 года, Applebot — тоже нет. Тестер отмечает такие строки.

Где заканчиваются возможности тестера robots.txt?

Он работает с текстом, который вы вставляете, по RFC 9309 и документированным особенностям краулеров. Проверить, отдает ли ваш сервер именно этот файл, можно в проверке ИИ-краулеров с реальным запросом. Есть ли ваши страницы в индексе и что мешает, если их там нет, показывает Quick-Check от SpotLens. По запросу мы устраним то, что не пускает страницы в Google.

На что опирается этот инструмент

Приведенные выше ориентиры и примечания основаны на 13 научных работах. Каждая проверена по DOI или на странице издателя (последняя проверка 14 ноября 2026 года): работа существует, не отозвана, а ее вывод по-прежнему применим к этому вопросу.

  1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), с. 1123–1124

    Вывод Пять последовательных исследований на 7 593 сайтах показывают, что robots.txt используется все чаще. Сам файл ничего не принуждает: ему следуют добросовестные краулеры.

    В инструменте Это объясняет предупреждение над каждым результатом: robots.txt — просьба, а не замок.

  2. Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. Международная конференция IEEE/WIC/ACM по веб-интеллекту (WI'07), с. 149–155

    Вывод В 2 925 файлах robots.txt краулеры крупных поисковых систем обычно получали преимущество через собственные группы, и оно сильно зависело от доли рынка.

    В инструменте Поэтому тестер сравнивает несколько краулеров рядом и показывает, какая группа для кого действует: различия возникают через именованные группы.

  3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Материалы 17-й Международной конференции World Wide Web (WWW 2008), с. 1171–1172

    Вывод Исследование около 6 миллионов сайтов, в отличие от меньшего исследования 2007 года, не выявило заметного предпочтения определенной поисковой системы.

    В инструменте Поясняет, что выводы о предпочтении различаются в зависимости от выборки. Поэтому тестер не дает оценок, а показывает действующую группу для каждого краулера.

  4. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), с. 1101–1102

    Результат Большинство коммерческих краулеров в целом соблюдали правила. Многие при этом регулярно нарушали или неверно трактовали отдельные директивы robots.txt.

    В инструменте Поэтому тестер сообщает о строках, которые краулеры читают по-разному, а генератор создает только простые строки Allow и Disallow.

  5. Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. Конференция IEEE/WIC/ACM 2010 по веб-интеллекту и технологиям интеллектуальных агентов (WI-IAT), с. 668–675

    Вывод С помощью страниц-ловушек, каждая с отдельным правилом robots.txt, измерялось поведение многих краулеров. Степень соблюдения сильно различалась; многие коммерческие краулеры регулярно нарушали определенные правила.

    В инструменте Обосновывает ограничение «правило не равно поведение»: следует ли краулер правилам в реальности, покажет только журнал сервера, а не тестер.

  6. Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), с. 1771–1779

    Вывод Работа рассматривает последствия сканирования для владельцев сайтов с точки зрения затрат, конфиденциальности и перегрузки. Допустимость сканирования требует от оператора краулера оценки в каждом отдельном случае.

    В инструменте Обосновывает, почему тестер рекомендует защиту паролем, а не строку Disallow, для конфиденциальных разделов.

  7. Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Материалы 18-й Международной конференции World Wide Web (WWW 2009), с. 991–1000

    Вывод Сравнение переходов по ссылкам и sitemap на миллиардах адресов в Google показывает, что они хорошо дополняют друг друга: sitemap быстрее приводит в поле зрения страницы без входящих ссылок и свежий контент.

    В инструменте Поэтому тестер отдельно перечисляет строки Sitemap, проверяет, указаны ли они полным адресом, а генератор добавляет такую строку.

  8. Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), с. 183–210

    Вывод Сравнение распространенных методов распознавания ботов показывает, что ни один не работает надежно во всех случаях. Некоторые боты ведут себя плохо или значительно нагружают сервер.

    В инструменте Указывает на ограничение: ботов нельзя надежно распознать. Правило действует только для краулеров, которые сообщают свое имя и соблюдают его.

  9. Kim, T.; Bock, K.; Luo, C. и др. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), с. 541–557

    Вывод В контролируемых опытах с 130 названными ботами в течение 40 дней боты реже соблюдали более строгие правила, а поисковые ИИ-краулеры часто вообще не запрашивали robots.txt.

    В инструменте Поэтому у каждого результата «заблокировано» есть примечание, что блокировка — это просьба, а для «Заблокировать все» в генераторе дана рекомендация установить настоящую защиту на сервере.

  10. Longpre, S.; Mahari, R.; Lee, A. и др. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), с. 108042–108087

    Результат Проверка 14 000 доменов, служивших источниками обучающих данных, за год выявила значительный рост числа ограничений, заметные различия между ИИ-компаниями и частые противоречия между условиями использования и robots.txt.

    В инструменте Поэтому ИИ-краулеры можно выбрать по отдельности, а тестер направляет к проверке ИИ-краулеров для вопроса «обучение — да или нет».

  11. Liu, E.; Luo, E.; Shan, S. и др. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), с. 78–99

    Вывод Измерения и опрос 203 художников показывают высокий спрос на robots.txt, но и препятствия из-за недостатка специальных знаний и доступа к собственному сайту. Блокировки на обратном прокси защищали эффективнее.

    В инструменте Отсюда генератор для типичных случаев без специальных терминов и совет привлечь хостера для жесткой блокировки.

  12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), с. 29–41

    Вывод Измерение примерно 4 миллионов доменов показывает: robots.txt остается главным средством разрешать или запрещать доступ краулерам. ИИ-агентов там прежде всего ограничивают строками Disallow.

    В инструменте Обосновывает, почему тестер остается на теме robots.txt и проверяет ИИ-идентификаторы наравне с поисковыми системами.

  13. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, с. 197–214

    Результат Примерно 1,68% сайтов в одном снимке Common Crawl явно отклонили запросы краулера. Часто у крупных хостеров и платформ-конструкторов срабатывала блокировка или показывалась страница проверки.

    В инструменте Отсюда ограничение: разрешающий robots.txt бесполезен, если хостер или защита от ботов отклоняет краулер раньше.

Стандарты, ведомства и данные производителей

Остался вопрос?

Посмотреть все 10 SEO-инструментов

Пн–пт, 8:00–17:00

Отправьте нам скопированный результат. Мы проверим robots.txt и sitemap вашего сайта и устраним то, что не пускает страницы в Google, в Родевише (Rodewisch) и по всему Фогтланду.

+49 3744 4399760[email protected]

Пн–пт, 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch

Проверить robots.txt
+49 3744 4399760Пн–пт, 8:00–17:00
ПозвонитьОбратный звонок

ПЕРЕЧЕНЬ ДЕТАЛЕЙ · ЛИСТ 1/1

Из чего состоит эта страница

Значения измерены при сборке сайта. Если включен JavaScript, ваш браузер прямо сейчас измеряет их заново.

ПОЗ.ДЕТАЛЬТИПРАЗМЕР
01index.htmlДокумент≈ 29 КБ
02styles.cssТаблица стилей≈ 20 КБ
03scripts.jsСкрипт≈ 13 КБ
04archivo-variable.woff2Шрифт≈ 58 КБ
05ibm-plex-mono.woff2Шрифт≈ 30 КБ
06favicon.svgГрафика< 1 КБ

Рекламные и аналитические cookie: нет. Без вашего согласия страница ничего не загружает с чужих серверов, кроме Cloudflare — сервиса, через который мы доставляем сайт. Шрифты, скрипты и графика лежат у нас. По тому же принципу мы выстраиваем и вашу IT-инфраструктуру.

В НЕРАБОЧЕЕ ВРЕМЯ

Звоните все равно, не стесняйтесь

Обычно мы в офисе с понедельника по пятницу, 8:00–17:00.

По вечерам и в выходные звонки на этот номер тоже переадресуются нам, и часто кто-нибудь берет трубку. Обещать этого мы не можем.

Если никто не ответил, оставьте короткое сообщение на автоответчике: имя, номер и в чем дело. Мы перезвоним как можно скорее, не позже следующего рабочего дня.

Сам разговор бесплатный. Если в нерабочее время нужно, чтобы кто-то сразу взялся за дело, действует надбавка из прайс-листа.

Позвонить сейчас+49 3744 4399760

Удобнее написать? Через форму обратной связи или на [email protected]. Прочитаем на следующий рабочий день.

ДИАГНОСТИКА · AT-K2

С чем вам помочь?

↵ ВЫБРАТЬESC ЗАКРЫТЬПОЗВОНИТЬ: +49 3744 4399760

Индивидуальные настройки

Каким сервисам разрешить загрузку?

Технически необходимое

Ваш выбор, сделанный здесь, а также настройки цветовой темы и анимации. Эти данные хранятся в виде небольших записей на вашем устройстве и никогда не отправляются на сервер. Они нужны для работы сайта, поэтому отключить их нельзя.