Инструмент AT-W48РЕД. 2026-A
Тестер robots.txt: может ли Googlebot читать эту страницу?
То, может ли Googlebot загрузить страницу, решает одна строка в robots.txt: самое длинное подходящее правило группы, которая действует для этого краулера. Вставьте свой файл и укажите пути или полные адреса. Тестер покажет для Googlebot, Bingbot, GPTBot и других краулеров, разрешен или заблокирован путь и какая строка это решает. Он сразу сообщит и о том, что Google читает иначе, чем предписывает стандарт.
- бесплатно
- без регистрации
- Текст остается в браузере
01 / ТЕСТЕР
Вставьте robots.txt и проверьте каждый путь
Тестер · robots.txt по RFC 9309
Проверка выполняется по RFC 9309 с учетом подтвержденных особенностей отдельных краулеров. Следовать правилам или нет, решает оператор краулера.
02 / ПРАВИЛА
Как краулер решает, загружать ли страницу
С сентября 2022 года порядок закреплен в RFC 9309; до этого это была договоренность 1994 года, которой крупные краулеры следовали с разной точностью Sun и др. 2010. Тестер работает по RFC в таком порядке:
- Файл. Он находится в /robots.txt в корневом каталоге и действует только для этого хоста с протоколом и портом. Файл на ihre-firma.de не действует для www.ihre-firma.de и shop.ihre-firma.de.
- Группа. Краулер ищет группу со своим именем, регистр не важен. Несколько групп с одинаковым именем объединяются. Если такой нет, действует «User-agent: *», а если нет и ее — разрешено все.
- Правило. В группе побеждает правило Allow или Disallow с наибольшим числом символов, подходящее к началу пути. При одинаковой длине побеждает Allow. Порядок строк не важен.
- Символы. Звездочка означает любое число символов, знак доллара в конце — конец адреса. Регистр в пути важен. Умлауты краулер сравнивает в процентном кодировании, поэтому «/über» и «/%C3%BCber» — одно и то же.
- Исключение. Сам robots.txt может загрузить любой, а строки Sitemap действуют независимо от групп.
На что срабатывает шаблон
| Шаблон | подходит для | не подходит для |
|---|---|---|
| /fisch | /fisch, /fisch.html, /fischkopf/rezept | /Fisch, /katalog/fisch |
| /fisch/ | /fisch/, /fisch/?sorte=lachs | /fisch, /fisch.html |
| /*.php | /index.php, /ordner/seite.php?id=1 | /, /seite.PHP |
| /*.php$ | /seite.php | /seite.php?id=1, /seite.php5 |
| /*?s= | /?s=preise, /blog/?s=test | /blog/?seite=2 |
Сравнение всегда начинается с начала пути, поэтому /fisch не подходит к /katalog/fisch. Если имеется в виду «везде», поставьте перед ним звездочку.
Побеждает самое длинное правило
В примере группа блокирует магазин, но делает исключение для предложений. Для /shop/angebote/herbst тестер рассчитывает: разрешено строкой 3 «Allow: /shop/angebote/» в группе «User-agent: *». Это самое длинное из 2 подходящих правил: 15 символов. Для /shop/kasse результат, напротив, заблокирован, поскольку подходит только более короткое правило.
Коммерческие краулеры долгое время неоднократно нарушали или неверно понимали отдельные правила Giles и др. 2010. После RFC расчет стал однозначным, но не каждый краулер ему следует. Поэтому тестер сообщает о строках, которые краулеры читают по-разному.
User-agent: * Disallow: /shop/ Allow: /shop/angebote/
Самая частая ловушка: группы ничего не наследуют
Если краулер получает собственную группу, общая группа больше к нему не относится, даже частично. В примере /intern/ должен быть закрыт для всех, но Googlebot получает отдельную группу для черновиков. Результат для /intern/preise: Bingbot заблокирован, а Googlebot разрешен. Поэтому то, что должно действовать для всех, нужно указывать в каждой именованной группе.
Именованные группы распространены. В раннем исследовании 2 925 файлов robots.txt крупные поисковые системы через собственные группы обычно получали больше доступа, чем другие Sun и др. 2007b; более позднее исследование около 6 миллионов сайтов не выявило заметного предпочтения Kolay и др. 2008. Намеренно это или нет, тестер показывает для каждого выбранного краулера действующую группу и в обзоре — для кого действует каждая группа.
User-agent: * Disallow: /intern/ User-agent: Googlebot Disallow: /entwurf/
03 / GOOGLE
Где Google читает robots.txt иначе, чем стандарт
Google участвовал в создании RFC и в основном ему следует. В некоторых местах парсер Google более снисходителен или строже, а документация определяет то, что RFC оставляет открытым. Тестер считает по RFC и отмечает каждое такое место, чтобы файл работал одинаково у всех краулеров.
| Пункт | RFC 9309 | |
|---|---|---|
| Размер файла | читать не менее 500 КиБ | не более 500 КиБ, остальное игнорируется |
| Кэш | не более 24 часов, кроме случая, когда файл недоступен | обычно до 24 часов, дольше при неудачном обновлении |
| Перенаправление | выполняется не менее пяти | не менее пяти, затем как 404 |
| 404 и другие 4xx | robots.txt нет, разрешено все | то же, за исключением 429 |
| 5xx или недоступен | все заблокировано; спустя длительное время (например, 30 дней) — как при отсутствии файла либо сохраненная версия | 12 часов без сканирования, затем до 30 дней последняя хорошая версия (без нее — без ограничений), после этого как без файла, если сайт в остальном доступен |
| Директивы | user-agent, allow, disallow; другие строки краулер может интерпретировать, например sitemap | только user-agent, allow, disallow и sitemap; noindex, nofollow и crawl-delay не действуют с 1 сентября 2019 года |
| Опечатки, нет двоеточия | строка не учитывается | парсер Google все же читает некоторые опечатки, например «Disalow», и строки без двоеточия |
| Имя с дополнением | имена состоят только из букв, - и _ | «googlebot/1.2» и «googlebot*» считаются «googlebot» |
| Умлауты, специальные символы | кодировать в процентах перед сравнением | сравнивает в процентном кодировании |
| Sitemap | краулер может интерпретировать | полный адрес с протоколом и хостом, может находиться на другом хосте |
Источники: RFC 9309, Google о robots.txt (актуально на 23 октября 2026 года), блог Google от 2 июля 2019 года, парсер Google. Проверено 14 ноября 2026 года.
У других поисковых систем есть свои особенности. Bing учитывает Crawl-delay и при отсутствии отдельной группы bingbot читает группу msnbot; Yandex не учитывает Crawl-delay с 22 февраля 2018 года и имеет группу «User-agent: Yandex» для всех своих роботов. Краулер Apple при отсутствии отдельной группы следует группе Googlebot, а рекламные краулеры Google полностью обходят общую группу. В таблице ниже указано, что из этого учитывает тестер.
04 / КРАУЛЕРЫ
Какие имена указывать в robots.txt
В строке User-agent должен быть продуктовый токен — короткое имя, которое оператор указывает для robots.txt: «Googlebot», а не полная строка идентификации из журнала сервера. Список в тестере содержит только имена, документированные их операторами, и учитывает особые правила только там, где они описаны.
| Имя в robots.txt | Оператор | Для чего | Особенность |
|---|---|---|---|
| Googlebot | Поиск Google, включая ИИ-обзоры | При отсутствии отдельной группы действует «*». | |
| Googlebot-Image | Google Картинки | При отсутствии отдельной группы следует группе Googlebot. | |
| bingbot | Microsoft | Bing и Copilot | При отсутствии отдельной группы следует группе msnbot, затем «*». Учитывает Crawl-delay. |
| Applebot | Apple | Siri, Spotlight, Safari | При отсутствии отдельной группы следует группе Googlebot. |
| DuckDuckBot | DuckDuckGo | собственный индекс DuckDuckGo | При отсутствии отдельной группы действует «*». |
| YandexBot | Яндекс | Поиск Яндекса | При отсутствии отдельной группы следует группе Yandex. Crawl-delay не действует с февраля 2018 года. |
| Storebot-Google | Google Shopping | Google не документирует резервную группу; тестер рассчитывает по RFC 9309 с «*». | |
| AdsBot-Google | Проверяет целевые страницы Google Ads | Обходит группу «*». Заблокировать его можно только собственной группой. | |
| Mediapartners-Google | AdSense и Ad Manager | Обходит группу «*». Заблокировать его можно только собственной группой. |
Также есть 24 идентификатора поставщиков ИИ, включая GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User. С 2023 года сайты все чаще и очень по-разному блокируют поставщиков ИИ, при этом условия использования и robots.txt часто противоречат друг другу Longpre и др. 2024. Измерение примерно 4 миллионов доменов показывает, что robots.txt остается главным средством, а ИИ-агенты там чаще всего ограничиваются строками Disallow Hoffmann и др. 2026. Для чего читает каждый ИИ-краулер, указано в проверке ИИ-краулеров; там же можно сразу получить ваш настоящий robots.txt.
05 / ГЕНЕРАТОР
Создать robots.txt для типичных случаев
Тому, кому нужен robots.txt, редко хочется изучать специальные термины. В опросе 203 художников желание иметь такой файл было сильным, но знания о нем и доступ к собственному сайту часто отсутствовали Liu и др. 2025. Поэтому генератор спрашивает только, что краулеры должны читать, и создает простые строки Allow и Disallow без хитростей. По кнопке «Проверить в тестере» текст попадет в тестер выше.
Генератор · robots.txt для типичных случаев
robots.txt регулирует только сканирование. Он не защищает данные, потому что его может прочитать любой, и не исключает страницу из индекса Google: заблокированный адрес может появиться в результатах без описания, если на него ссылаются другие страницы.
Генератор работает в браузере и ничего не отправляет. Файл должен находиться в корневом каталоге как robots.txt; для каждого поддомена нужен отдельный файл.
Строка Sitemap почти всегда полезна. Переходы по ссылкам и Sitemap дополняют друг друга: на миллиардах адресов в Google страницы без входящих ссылок и новый контент быстрее попадали в поле зрения через Sitemap Schonfeld и Shivakumar 2009. Строка требует полный адрес и действует для всех групп.
06 / ОГРАНИЧЕНИЯ
Чего robots.txt не делает
- Она ничего не исключает из индекса. По данным Google, robots.txt не предназначен для исключения страницы из Google. Заблокированный адрес, на который ссылаются другие страницы, может появиться в результатах без описания. Исключить его можно с помощью noindex, но Google увидит его только если сможет прочитать страницу.
- Она ничего не защищает. Файл публичен и содержит список заблокированных путей; RFC прямо говорит, что он не заменяет защиту доступа. Следовать ему или нет — решение оператора краулера Thelwall и Stuart 2006. Конфиденциальные данные должны быть защищены паролем.
- Это просьба. Уже первые крупные исследования описывали файл как правило, которому следуют добросовестные краулеры, а не как средство принуждения Sun и др. 2007a. В опытах с 130 названными ботами в течение 40 дней боты реже соблюдали более строгие правила, а поисковые ИИ-краулеры часто вообще не запрашивали файл Kim и др. 2025.
- Она действует только по имени. Надежно распознать ботов нельзя: ни один из распространенных методов не работает надежно во всех случаях Doran и Gokhale 2011. Тот, кто приходит под чужим именем, не попадает под правило.
- Жесткие блокировки находятся на сервере. От ИИ-краулеров блокировки на обратном прокси защищали эффективнее, чем robots.txt Liu и др. 2025. И наоборот, некоторые хостеры и конструкторы сайтов отклоняют краулеров еще до того, как robots.txt вообще будет учтен: в выборке Common Crawl это было около 1,68 процента сайтов Ansar и др. 2025. Тогда даже самая хорошая строка Allow не поможет.
- Тестер работает с вашим текстом. Отдает ли сервер именно этот файл со статусом 200 и как текст, проверит проверка ИИ-краулеров настоящим запросом.
Тестер отвечает на предварительный вопрос. Есть ли ваши страницы в Google на самом деле и что мешает, если их там нет, показывает Quick-Check от SpotLens. Первые шаги для самостоятельной проверки приведены в руководстве Сайт не найден в Google, а о том, как мы делаем сайты в Родевише (Rodewisch) и Фогтланде заметными, — в разделе SEO. Другие инструменты для видимости находятся в разделе SEO и видимость.
07 / ДЛЯ ИИ-АССИСТЕНТОВ
Как пользоваться этим инструментом из ИИ-ассистента
Ассистенты вроде Claude или ChatGPT, которые поддерживают Model Context Protocol (MCP), могут напрямую вызвать расчет с этой страницы, а не воспроизводить его сами. Сервер открыт для всех, не требует регистрации и ничего не сохраняет. В ответе всегда есть ссылка на эту страницу, дата актуальности данных и пределы применимости результата.
- Эндпоинт
https://aureum-tech.com/mcp- Инструмент
werkzeug_robots_txt_tester- Транспорт
- Streamable HTTP, только чтение
| Название | Обязательно | Что означает |
|---|---|---|
robots_txt | да | Полный текст robots.txt, размещенный по адресу /robots.txt. |
pfade | нет | До 50 путей или полных URL, например «/kontakt» или «https://www.firma.de/blog?seite=2». У URL учитываются путь и Query. По умолчанию «/». |
crawler | нет | Продуктовые токены краулеров, например Googlebot, bingbot, GPTBot; «*» — для любого краулера без собственной группы. Известные: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. Другие имена проверяются по RFC 9309. По умолчанию: Googlebot, bingbot, GPTBot, ClaudeBot, *. |
Вопросы, при которых ассистенту стоит его вызвать
- «Может ли Googlebot загрузить /wp-admin/admin-ajax.php с этим robots.txt?»
- «Почему моя блокировка в «User-agent: *» не действует для GPTBot?»
- «Какая строка моего robots.txt блокирует https://www.firma.de/shop?sort=preis для Bingbot?»
- «Является ли «Disalow: /intern/» в моем robots.txt ошибкой и все равно читает ли Google эту строку?»
Как устроено подключение и что MCP может дать вашей фирме, описано на странице об MCP-интеграциях.
08 / ЧАСТЫЕ ВОПРОСЫ
Частые вопросы о robots.txt
Исключает ли «Disallow» страницу из индекса Google?
Нет. Disallow запрещает только загрузку страницы. Если другие страницы ссылаются на адрес, Google все равно может включить его в результаты — но без описания. Чтобы страница исчезла, Google должен иметь возможность прочитать ее и найти там noindex в метатеге или заголовке X-Robots-Tag; иначе страница должна отвечать 404 или 410 либо быть защищена паролем. Сочетание блокировки и noindex дает обратный результат: Google никогда не увидит noindex.
Почему моя блокировка в «User-agent: *» не действует для Googlebot?
Потому что для Googlebot есть отдельная группа. Краулер следует группе со своим именем и только при ее отсутствии — общей группе «*». Поэтому то, что там запрещено, должно быть указано и в каждой именованной группе. Тестер показывает у каждого результата, какая группа действует.
Что имеет приоритет, если Allow и Disallow подходят к одному пути?
Приоритет у правила с наибольшим числом символов. При одинаковой длине побеждает Allow, порядок строк в файле не важен. Поэтому при «Disallow: /shop/» и «Allow: /shop/angebote/» путь /shop/angebote/ остается открытым, а остальная часть магазина — нет.
Как быстро измененный robots.txt начинает действовать в Google?
Google обычно хранит файл до 24 часов, а если обновление не удалось — и дольше. До этого действуют старые правила. Поэтому сначала проверьте изменение здесь и только потом загрузите файл.
Можно ли защитить конфиденциальные разделы с помощью robots.txt?
Нет. Файл публичен: его может открыть любой, и он даже раскрывает заблокированные пути. Это прямо сказано в стандарте: файл не заменяет защиту доступа. Конфиденциальные данные должны быть за авторизацией или защитой паролем на сервере.
Учитывает ли Google Crawl-delay или Noindex в robots.txt?
Нет. Google читает только user-agent, allow, disallow и sitemap. Noindex, nofollow и crawl-delay в robots.txt не действуют в Google с 1 сентября 2019 года. Bing учитывает Crawl-delay, Yandex — уже нет с февраля 2018 года, Applebot — тоже нет. Тестер отмечает такие строки.
Где заканчиваются возможности тестера robots.txt?
Он работает с текстом, который вы вставляете, по RFC 9309 и документированным особенностям краулеров. Проверить, отдает ли ваш сервер именно этот файл, можно в проверке ИИ-краулеров с реальным запросом. Есть ли ваши страницы в индексе и что мешает, если их там нет, показывает Quick-Check от SpotLens. По запросу мы устраним то, что не пускает страницы в Google.
09 / ИССЛЕДОВАНИЯ И ИСТОЧНИКИ
На что опирается этот инструмент
Приведенные выше ориентиры и примечания основаны на 13 научных работах. Каждая проверена по DOI или на странице издателя (последняя проверка 14 ноября 2026 года): работа существует, не отозвана, а ее вывод по-прежнему применим к этому вопросу.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Proceedings of the 16th International Conference on World Wide Web (WWW 2007), с. 1123–1124
Вывод Пять последовательных исследований на 7 593 сайтах показывают, что robots.txt используется все чаще. Сам файл ничего не принуждает: ему следуют добросовестные краулеры.
В инструменте Это объясняет предупреждение над каждым результатом: robots.txt — просьба, а не замок.
doi.org/10.1145/1242572.1242726 · доклад на конференции
Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. Международная конференция IEEE/WIC/ACM по веб-интеллекту (WI'07), с. 149–155
Вывод В 2 925 файлах robots.txt краулеры крупных поисковых систем обычно получали преимущество через собственные группы, и оно сильно зависело от доли рынка.
В инструменте Поэтому тестер сравнивает несколько краулеров рядом и показывает, какая группа для кого действует: различия возникают через именованные группы.
doi.org/10.1109/WI.2007.98 · доклад на конференции
Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Материалы 17-й Международной конференции World Wide Web (WWW 2008), с. 1171–1172
Вывод Исследование около 6 миллионов сайтов, в отличие от меньшего исследования 2007 года, не выявило заметного предпочтения определенной поисковой системы.
В инструменте Поясняет, что выводы о предпочтении различаются в зависимости от выборки. Поэтому тестер не дает оценок, а показывает действующую группу для каждого краулера.
doi.org/10.1145/1367497.1367711 · доклад на конференции
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Proceedings of the 19th International Conference on World Wide Web (WWW 2010), с. 1101–1102
Результат Большинство коммерческих краулеров в целом соблюдали правила. Многие при этом регулярно нарушали или неверно трактовали отдельные директивы robots.txt.
В инструменте Поэтому тестер сообщает о строках, которые краулеры читают по-разному, а генератор создает только простые строки Allow и Disallow.
doi.org/10.1145/1772690.1772824 · доклад на конференции
Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. Конференция IEEE/WIC/ACM 2010 по веб-интеллекту и технологиям интеллектуальных агентов (WI-IAT), с. 668–675
Вывод С помощью страниц-ловушек, каждая с отдельным правилом robots.txt, измерялось поведение многих краулеров. Степень соблюдения сильно различалась; многие коммерческие краулеры регулярно нарушали определенные правила.
В инструменте Обосновывает ограничение «правило не равно поведение»: следует ли краулер правилам в реальности, покажет только журнал сервера, а не тестер.
doi.org/10.1109/WI-IAT.2010.316 · доклад на конференции
Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), с. 1771–1779
Вывод Работа рассматривает последствия сканирования для владельцев сайтов с точки зрения затрат, конфиденциальности и перегрузки. Допустимость сканирования требует от оператора краулера оценки в каждом отдельном случае.
В инструменте Обосновывает, почему тестер рекомендует защиту паролем, а не строку Disallow, для конфиденциальных разделов.
doi.org/10.1002/asi.20388 · научный журнал
Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Материалы 18-й Международной конференции World Wide Web (WWW 2009), с. 991–1000
Вывод Сравнение переходов по ссылкам и sitemap на миллиардах адресов в Google показывает, что они хорошо дополняют друг друга: sitemap быстрее приводит в поле зрения страницы без входящих ссылок и свежий контент.
В инструменте Поэтому тестер отдельно перечисляет строки Sitemap, проверяет, указаны ли они полным адресом, а генератор добавляет такую строку.
doi.org/10.1145/1526709.1526842 · доклад на конференции
Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), с. 183–210
Вывод Сравнение распространенных методов распознавания ботов показывает, что ни один не работает надежно во всех случаях. Некоторые боты ведут себя плохо или значительно нагружают сервер.
В инструменте Указывает на ограничение: ботов нельзя надежно распознать. Правило действует только для краулеров, которые сообщают свое имя и соблюдают его.
doi.org/10.1007/s10618-010-0180-z · обзорная статья
Kim, T.; Bock, K.; Luo, C. и др. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), с. 541–557
Вывод В контролируемых опытах с 130 названными ботами в течение 40 дней боты реже соблюдали более строгие правила, а поисковые ИИ-краулеры часто вообще не запрашивали robots.txt.
В инструменте Поэтому у каждого результата «заблокировано» есть примечание, что блокировка — это просьба, а для «Заблокировать все» в генераторе дана рекомендация установить настоящую защиту на сервере.
doi.org/10.1145/3730567.3764471 · доклад на конференции
Longpre, S.; Mahari, R.; Lee, A. и др. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), с. 108042–108087
Результат Проверка 14 000 доменов, служивших источниками обучающих данных, за год выявила значительный рост числа ограничений, заметные различия между ИИ-компаниями и частые противоречия между условиями использования и robots.txt.
В инструменте Поэтому ИИ-краулеры можно выбрать по отдельности, а тестер направляет к проверке ИИ-краулеров для вопроса «обучение — да или нет».
doi.org/10.52202/079017-3431 · доклад на конференции
Liu, E.; Luo, E.; Shan, S. и др. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), с. 78–99
Вывод Измерения и опрос 203 художников показывают высокий спрос на robots.txt, но и препятствия из-за недостатка специальных знаний и доступа к собственному сайту. Блокировки на обратном прокси защищали эффективнее.
В инструменте Отсюда генератор для типичных случаев без специальных терминов и совет привлечь хостера для жесткой блокировки.
doi.org/10.1145/3730567.3732913 · доклад на конференции
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), с. 29–41
Вывод Измерение примерно 4 миллионов доменов показывает: robots.txt остается главным средством разрешать или запрещать доступ краулерам. ИИ-агентов там прежде всего ограничивают строками Disallow.
В инструменте Обосновывает, почему тестер остается на теме robots.txt и проверяет ИИ-идентификаторы наравне с поисковыми системами.
doi.org/10.1145/3831956.3831960 · научный журнал
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, с. 197–214
Результат Примерно 1,68% сайтов в одном снимке Common Crawl явно отклонили запросы краулера. Часто у крупных хостеров и платформ-конструкторов срабатывала блокировка или показывалась страница проверки.
В инструменте Отсюда ограничение: разрешающий robots.txt бесполезен, если хостер или защита от ботов отклоняет краулер раньше.
doi.org/10.1007/978-3-031-85960-1_9 · доклад на конференции
Стандарты, ведомства и данные производителей
- RFC 9309: Robots Exclusion Protocol · IETF, сентябрь 2022
- Как Google интерпретирует спецификацию robots.txt · Google Search Central, актуально на 23 октября 2026 года
- Введение в robots.txt · Google Search Central
- Блокировка индексации поиска с noindex · Google Search Central
- Примечание о неподдерживаемых правилах в robots.txt · блог Google Search Central, 2 июля 2019 года
- Распространенные краулеры Google · Google Search Central
- Краулеры Google для особых случаев (AdsBot, Mediapartners) · Google Search Central
- google/robotstxt: парсер robots.txt от Google (опечатки, Googlebot-Image) · Google, GitHub
- Сканировать или не сканировать — вот вопрос BingBot · блог Bing Webmaster, 3 мая 2012 года
- About Applebot · Apple, по состоянию на 4 сентября 2026
- DuckDuckBot · DuckDuckGo
- Директива User-agent · Yandex Webmaster
- Директива Crawl-delay · Yandex Webmaster
- WordPress: do_robots() в wp-includes/functions.php · WordPress, GitHub
10 / ДРУГИЕ ИНСТРУМЕНТЫ
Остался вопрос?
- AT-W42 · Для фирм
Предпросмотр сниппета
Как ваша страница выглядит в Google? Заголовок и описание с шириной в пикселях, для компьютера и телефона. - AT-W43 · Для фирм
Генератор разметки Schema
Структурированные данные для вашей фирмы: LocalBusiness, часы работы и FAQ в формате JSON-LD, готовые для вставки. - AT-W44 · Для фирм
Проверка профиля компании
Полностью ли заполнен профиль вашей компании в Google? Чего не хватает, в порядке важности. - AT-W45 · Для фирм
Проверка NAP
Везде ли название, адрес и телефон указаны одинаково? Сравните записи из каталогов. - AT-W46 · Для фирм
Сортировщик ключевых слов
Какие поисковые запросы связаны между собой и чего хочет тот, кто ищет? Списки, разобранные по темам и целям поиска. - AT-W47 · Для дома и фирм
Проверка читаемости
Насколько понятен ваш текст? Индекс читаемости для немецкого языка, длинные предложения и трудные слова отмечены.
Отправьте нам скопированный результат. Мы проверим robots.txt и sitemap вашего сайта и устраним то, что не пускает страницы в Google, в Родевише (Rodewisch) и по всему Фогтланду.
+49 3744 4399760[email protected]Пн–пт, 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch