Інструмент AT-W48REV. 2026-A

Перевірка robots.txt: чи може Googlebot прочитати цю сторінку?

Доступ Googlebot до сторінки визначає один рядок у robots.txt: найдовше відповідне правило з групи для цього робота. Вставте файл і введіть шляхи або повні адреси. Перевірка покаже, чи доступний шлях для Googlebot, Bingbot, GPTBot та інших роботів, і вкаже вирішальний рядок. Ви також побачите, де Google тлумачить файл інакше, ніж передбачає стандарт.

  • безкоштовно
  • без реєстрації
  • Текст залишається у браузері

Вставте robots.txt і перевірте кожен шлях

Перевірка · robots.txt за RFC 9309

Під час перевірки застосовуються правила RFC 9309 і враховуються підтверджені особливості окремих роботів. Чи дотримується робот цих правил, визначає його оператор.

Відкрийте ihre-firma.de/robots.txt у браузері й скопіюйте весь текст. Цей файл також можна отримати через перевірку роботів ШІ.

До 50. З повної адреси беруться шлях і параметри, наприклад /shop?sort=preis.

Для яких роботів?
Пошукові системи · 6
Інші роботи Google · 3
Роботи ШІ · 24

Вкажіть назву, яку оператор визначив для robots.txt (токен продукту), без повного ідентифікатора браузера.

Перевірка виконується в браузері. Текст і адреси залишаються на вашому пристрої.

Результат

Вставте свій robots.txt і введіть шляхи. Можна почати з готового прикладу.

Як робот вирішує, чи завантажувати сторінку

З вересня 2022 року цей порядок закріплено в RFC 9309. До того діяла домовленість 1994 року, якої великі роботи дотримувалися з різною точністю Sun та ін., 2010. Перевірка застосовує RFC у такому порядку:

  1. Файл. Він розташований в основному каталозі за адресою /robots.txt і діє лише для конкретного хоста з відповідним протоколом і портом. Файл на ihre-firma.de не діє ні на www.ihre-firma.de, ні на shop.ihre-firma.de.
  2. Група. Робот шукає групу зі своєю назвою незалежно від регістру. Кілька груп з однаковою назвою об’єднуються. Якщо іменованої групи немає, діє «User-agent: *». Якщо немає й цієї групи, доступ відкрито до всіх шляхів.
  3. Правило. У групі діє найдовший рядок Allow або Disallow, що відповідає початку шляху. За однакової довжини перевагу має Allow. Порядок рядків не має значення.
  4. Символи. Зірочка замінює довільну кількість символів, а знак долара наприкінці позначає кінець адреси. Регістр символів у шляху має значення. Робот порівнює літери з умлаутом у відсотковому кодуванні, тож «/über» і «/%C3%BCber» еквівалентні.
  5. Виняток. Сам файл robots.txt відкритий для всіх, а рядки Sitemap діють незалежно від груп.
ЯКА ГРУПА ДІЄ?РОБОТ/robots.txtВЛАСНАГРУПАІНАКШЕ ГРУПА*ІНАКШЕ ВСЕДОЗВОЛЕНОЯКЕ ПРАВИЛО ДІЄ?ШЛЯХВІДПОВІДНІ ПРАВИЛАНАЙДОВШЕМАЄ ПЕРЕВАГУ, ЗАРІВНОСТІ: ALLOWДОЗВОЛЕНО АБОЗАБЛОКОВАНАЯКА ГРУПА ДІЄ?РОБОТ/robots.txtВЛАСНА ГРУПАІНАКШЕ ГРУПА *ІНАКШЕ ВСЕ ДОЗВОЛЕНОЯКЕ ПРАВИЛО ДІЄ?ШЛЯХВІДПОВІДНІ ПРАВИЛАНАЙДОВШЕ МАЄ ПЕРЕВАГУ, ЗА РІВНОСТІРІВНОСТІ: ALLOWДОЗВОЛЕНО АБО ЗАБЛОКОВАНО
РИС. 1 · ЯК РОБОТ ЧИТАЄ ROBOTS.TXTЗОЛОТЕ ПОЗНАЧЕННЯ = ВАШ ФАЙЛ · ДВА ЗАПИТАННЯ ПО ЧЕРЗІ

Яким шляхам відповідає шаблон

Приклади, обчислені тією самою функцією, що й у перевірці
ШаблонВідповідаєНе відповідає
/fisch/fisch, /fisch.html, /fischkopf/rezept/Fisch, /katalog/fisch
/fisch//fisch/, /fisch/?sorte=lachs/fisch, /fisch.html
/*.php/index.php, /ordner/seite.php?id=1/, /seite.PHP
/*.php$/seite.php/seite.php?id=1, /seite.php5
/*?s=/?s=preise, /blog/?s=test/blog/?seite=2

Порівняння завжди починається з початку шляху, тому /fisch не відповідає /katalog/fisch. Щоб шукати збіг будь-де, поставте попереду зірочку.

Діє найдовше правило

У прикладі група блокує магазин, але робить виняток для спеціальних пропозицій. Для /shop/angebote/herbst результат такий: доступ дозволено за рядком 3 «Allow: /shop/angebote/» у групі «User-agent: *». Це найдовше з 2 відповідних правил, воно має 15 символів. Для /shop/kasse доступ заблоковано, оскільки цьому шляху відповідає лише коротше правило.

Комерційні роботи довго порушували або неправильно тлумачили окремі правила Giles та ін., 2010. RFC установив однозначний порядок, але дотримуються його не всі роботи. Перевірка показує рядки, які роботи тлумачать по-різному.

User-agent: *
Disallow: /shop/
Allow: /shop/angebote/

Найпоширеніша пастка: групи нічого не успадковують

Якщо робот отримує власну групу, загальна група на нього не поширюється навіть частково. У прикладі /intern/ має бути заблоковано для всіх, але Googlebot має власну групу для чернеток. Результат для /intern/preise: Bingbot не має доступу, а Googlebot має. Тому правила, спільні для всіх, потрібні в кожній іменованій групі.

Іменовані групи поширені. Ранній аналіз 2 925 файлів robots.txt виявив, що великі пошукові системи здебільшого отримували більше доступу завдяки власним групам Sun та ін., 2007b. Пізніше дослідження близько 6 мільйонів сайтів не виявило помітних переваг Kolay та ін., 2008. Незалежно від задуму власника, перевірка показує, яка група діє для кожного вибраного робота і для кого діє кожна група.

User-agent: *
Disallow: /intern/

User-agent: Googlebot
Disallow: /entwurf/

Де Google тлумачить robots.txt інакше, ніж вимагає стандарт

Google брав участь у написанні RFC і загалом його дотримується. Подекуди аналізатор Google поблажливіший або суворіший, а документація роз’яснює те, чого не визначає RFC. Перевірка застосовує правила RFC і позначає ці відмінності, щоб ваш файл діяв однаково для всіх роботів.

Порівняння RFC 9309 і Google: документація Google станом на 23 жовтня 2026 року
ПунктRFC 9309Google
Розмір файлапрочитати щонайменше 500 KiBщонайбільше 500 KiB, решта ігнорується
Кешщонайбільше 24 години, крім випадків, коли файл недоступнийзазвичай до 24 годин, довше, якщо не вдається оновити копію
Переспрямуванняслідувати щонайменше п’ятьомщонайменше п’ять, далі як 404
404 та інші 4xxнемає robots.txt, усе дозволенотак само, за винятком 429
5xx або недоступнодоступ до всього заблоковано, а згодом (наприклад, через 30 днів) — як за відсутності файлу або застосовується збережена версія12 годин без сканування, далі до 30 днів діє остання справна копія, а без неї діють правила доступу без обмежень. Після цього — як за відсутності файлу, якщо сайт загалом доступний
Директивиuser-agent, allow, disallow. Робот може інтерпретувати й інші рядки, наприклад sitemapлише user-agent, allow, disallow і sitemap. Директиви noindex, nofollow і crawl-delay не діють із 1 вересня 2019 року
Друкарські помилки, пропущена двокрапкарядок не враховуєтьсяаналізатор Google усе одно розпізнає деякі помилки, як-от «Disalow», і рядки без двокрапки
Назва з додатковими символамиу назвах дозволено лише літери, - і _«googlebot/1.2» та «googlebot*» вважаються назвою «googlebot»
Умлаути та спеціальні символиперед порівнянням перевести у відсоткове кодуванняпорівнює у відсотковому кодуванні
Карта сайтуробот може тлумачити цю директивуповна адреса з протоколом і хостом, можна вказати інший хост

Джерела: RFC 9309, документація Google про robots.txt (станом на 23 жовтня 2026 року), блог Google від 2 липня 2019 року, аналізатор Google. Перевірено 14 листопада 2026 року.

Інші пошукові системи мають свої особливості. Bing враховує Crawl-delay і за відсутності окремої групи bingbot використовує групу msnbot. Yandex не враховує Crawl-delay з 22 лютого 2018 року, і група «User-agent: Yandex» діє для всіх його роботів. Робот Apple за відсутності власної групи виконує правила групи Googlebot, а рекламні роботи Google оминають загальну групу. У таблиці нижче зазначено, що з цього враховує перевірка.

Які назви вказувати у robots.txt

У рядку User-agent вкажіть токен продукту — коротку назву, яку оператор визначив для robots.txt, наприклад «Googlebot». Повний ідентифікатор із журналу сервера тут не потрібен. У списку перевірки є лише назви із документації операторів, а особливі правила враховано там, де їх описано.

Пошукові системи й роботи Google. Перевірено за документацією операторів 14 листопада 2026 року
Назва в robots.txtОператорПризначенняОсобливість
GooglebotGoogleПошук Google, зокрема огляди ШІЯкщо окремої групи немає, діє «*».
Googlebot-ImageGoogleКартинки GoogleЯкщо окремої групи немає, застосовує правила групи Googlebot.
bingbotMicrosoftBing та CopilotЯкщо окремої групи немає, спочатку використовує групу msnbot, а вже потім «*». Враховує Crawl-delay.
ApplebotAppleSiri, Spotlight, SafariЯкщо окремої групи немає, застосовує правила групи Googlebot.
DuckDuckBotDuckDuckGoвласний індекс DuckDuckGoЯкщо окремої групи немає, діє «*».
YandexBotYandexПошук YandexЯкщо окремої групи немає, використовує групу Yandex. Crawl-delay не діє з лютого 2018 року.
Storebot-GoogleGoogleGoogle ShoppingGoogle не описує запасної групи. Перевірка застосовує «*» за RFC 9309.
AdsBot-GoogleGoogleПеревіряє цільові сторінки Google AdsОминає групу «*». Заблокувати цього робота можна лише власною групою.
Mediapartners-GoogleGoogleAdSense та Ad ManagerОминає групу «*». Заблокувати цього робота можна лише власною групою.

Також є 24 ідентифікатори постачальників ШІ, зокрема GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot та Claude-User. Із 2023 року сайти дедалі частіше й по-різному блокують постачальників ШІ, причому умови користування й robots.txt часто суперечать одне одному Longpre та ін., 2024. Аналіз близько 4 мільйонів доменів показав, що robots.txt лишається основним засобом для цього, а агентів ШІ здебільшого обмежують директивою Disallow Hoffmann та ін., 2026. Для чого кожен робот ШІ сканує сайт, описано в перевірці роботів ШІ. Вона також отримує ваш справжній robots.txt.

Створіть robots.txt для типового випадку

Якщо вам потрібен robots.txt, вивчати фахові терміни не обов’язково. В опитуванні 203 митців багато хто хотів мати такий файл, проте часто бракувало знань та доступу до власного сайту Liu та ін., 2025. Тому генератор запитує лише, що можуть читати роботи, і створює прості рядки Allow та Disallow. Натисніть «Перевірити в інструменті», щоб передати текст до перевірки вище.

Генератор · robots.txt для типових випадків

Файл robots.txt керує лише скануванням. Він не захищає дані, оскільки доступний будь-кому, і не видаляє сторінки з індексу Google. Заблокована адреса може з’явитися серед результатів без опису, якщо на неї посилаються інші сторінки.

Які сторінки дозволити роботам читати?
Які розділи заблокувати?

Із косою рискою наприкінці правило блокує лише каталог. Без неї шаблон /intern також відповідає /internes-handbuch.

Для кожної назви створюються два рядки: для ?name= та &name=. Так «sort» не охопить «resort».

Вкажіть https:// та домен, інакше рядка не буде.

# robots.txt, erstellt mit dem robots.txt-Tester von aureum-tech.com (Stand 14. November 2026)
# Regelt nur das Crawlen. Schützt keine Daten und nimmt keine Seite aus dem Google-Index.
User-agent: *
Disallow:

Генератор працює в браузері й нічого не надсилає. Збережіть файл під назвою robots.txt в основному каталозі. Кожен піддомен має окремий файл.

Рядок Sitemap майже завжди корисний. Переходи за посиланнями й карта сайту доповнюють одне одного: аналіз мільярдів адрес у Google показав, що карта сайту допомагає швидше знайти сторінки без вхідних посилань і нові матеріали Schonfeld і Shivakumar, 2009. У рядку потрібна повна адреса, і він діє для всіх груп.

Чого robots.txt не робить

  • Файл не прибирає сторінки з індексу. За інформацією Google, robots.txt не може видалити сторінку з пошуку. Якщо на заблоковану адресу посилаються інші сторінки, вона може з’явитися в результатах без опису. Щоб видалити сторінку з індексу, застосуйте noindex. Google побачить його лише тоді, коли матиме доступ до сторінки.
  • Файл не захищає дані. Він публічний і перелічує заблоковані шляхи. В RFC прямо зазначено, що robots.txt не замінює контроль доступу. Чи дотримуватиметься робот правил, вирішує його оператор Thelwall і Stuart, 2006. Конфіденційні матеріали слід захищати паролем.
  • Це прохання до робота. Уже перші великі дослідження описували файл як правило, якого дотримуються сумлінні роботи, без примусового виконання Sun та ін., 2007a. Під час спостереження за 130 іменованими роботами протягом 40 днів суворіших правил дотримувалися рідше, а пошукові роботи ШІ нерідко взагалі не запитували файл Kim та ін., 2025.
  • Правила залежать від імені робота. Жоден із поширених методів не дає змоги надійно розпізнавати всіх роботів Doran і Gokhale, 2011. Якщо робот представляється чужим іменем, правило для його справжнього імені не застосовується.
  • Надійне блокування налаштовують на сервері. Блокування на зворотному проксі краще захищало від роботів ШІ, ніж robots.txt Liu та ін., 2025. Деякі хостинги й конструктори сайтів відхиляють запити роботів ще до обробки robots.txt. У вибірці Common Crawl таких сайтів було близько 1,68 відсотка Ansar та ін., 2025. У цьому випадку директива Allow не допоможе.
  • Перевірка аналізує введений вами текст. Щоб дізнатися, чи ваш сервер справді віддає цей файл як текст із кодом 200, скористайтеся перевіркою роботів ШІ. Вона робить реальний запит.

Ця перевірка відповідає на попереднє запитання. Експрес-перевірка SpotLens покаже, чи є ваші сторінки в Google і що заважає їх появі. Як перевірити це самостійно, описано в пораднику Сайт не знайдено в Google. Як ми робимо сайти помітнішими в Родевіші (Rodewisch) і Фогтланді, читайте в розділі SEO. Інші інструменти для перевірки видимості є в розділі SEO і видимість.

Як користуватися цим інструментом через ШІ-асистента

Асистенти на кшталт Claude чи ChatGPT, які підтримують Model Context Protocol (MCP), можуть викликати розрахунок цієї сторінки напряму, а не відтворювати його. Сервер публічний, не потребує реєстрації та нічого не зберігає. Відповідь завжди містить посилання на цю сторінку, дату даних і межі результату.

Кінцева точка
https://aureum-tech.com/mcp
Інструмент
werkzeug_robots_txt_tester
Транспорт
Streamable HTTP, лише читання
Вхідні дані
НазваОбов’язковоЗначення
robots_txtтакПовний текст robots.txt, який доступний за адресою /robots.txt.
pfadeніДо 50 шляхів або повних URL, наприклад «/kontakt» чи «https://www.firma.de/blog?seite=2». З URL враховуються шлях і параметри запиту. Типово: «/».
crawlerніТокени продуктів для роботів, наприклад Googlebot, bingbot і GPTBot. «*» позначає роботів без окремої групи. Відомі назви: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. Інші назви перевіряються за RFC 9309. Типово: Googlebot, bingbot, GPTBot, ClaudeBot, *.

Запитання, на які асистентові варто його викликати

  • «Чи дозволяє цей robots.txt роботу Googlebot завантажувати /wp-admin/admin-ajax.php?»
  • «Чому моя заборона в групі “User-agent: *” не діє для GPTBot?»
  • «Який рядок мого robots.txt блокує для Bingbot адресу https://www.firma.de/shop?sort=preis?»
  • «Чи є помилка в рядку “Disalow: /intern/” у моєму robots.txt і чи все одно Google його прочитає?»

Як працює підключення і що MCP може дати вашій фірмі, описано на сторінці про MCP-інтеграції.

Поширені запитання про robots.txt

Чи прибирає «Disallow» сторінку з індексу Google?

Ні. Disallow забороняє лише завантажувати сторінку. Якщо на цю адресу посилаються інші сторінки, Google може показати її в результатах без опису. Щоб сторінка зникла, дозвольте Google прочитати її й додайте noindex у метатег або заголовок X-Robots-Tag. Також можна повертати код 404 чи 410 або захистити сторінку паролем. Якщо одночасно заблокувати доступ і додати noindex, Google цього noindex не побачить.

Чому заборона в групі «User-agent: *» не діє для Googlebot?

Тому що для Googlebot є окрема група. Робот виконує правила групи зі своїм іменем, а до загальної групи «*» звертається лише за відсутності такої групи. Тому заборони із загальної групи потрібно повторити в кожній іменованій групі. У результатах перевірки зазначено, яка група діє.

Яке правило діє, якщо Allow і Disallow відповідають одному шляху?

Перевагу має довше правило: довжину рахують у символах. Якщо довжина однакова, діє Allow незалежно від порядку рядків у файлі. Тобто з «Disallow: /shop/» та «Allow: /shop/angebote/» шлях /shop/angebote/ залишається доступним, а решта магазину закрита.

Як швидко Google враховує зміни у robots.txt?

Зазвичай Google зберігає файл до 24 годин, а якщо не вдається оновити копію, то й довше. До того часу діють попередні правила. Тому спочатку перевірте зміни тут, а потім завантажте файл на сервер.

Чи можна захистити закриті розділи за допомогою robots.txt?

Ні. Це публічний файл, який може відкрити будь-хто, і він навіть розкриває заблоковані шляхи. У самому стандарті зазначено, що файл не замінює обмеження доступу. Конфіденційні матеріали слід захищати входом до облікового запису або паролем на сервері.

Чи враховує Google Crawl-delay або Noindex у robots.txt?

Ні. Google читає лише user-agent, allow, disallow і sitemap. З 1 вересня 2019 року noindex, nofollow і crawl-delay у robots.txt не діють для Google. Bing враховує Crawl-delay, а Yandex не враховує з лютого 2018 року. Applebot також його не враховує. Перевірка позначає такі рядки.

Що перевірка robots.txt не показує?

Інструмент аналізує вставлений вами текст за RFC 9309 з урахуванням задокументованих особливостей роботів. Щоб перевірити, чи сервер насправді віддає саме цей файл, скористайтеся перевіркою роботів ШІ: вона робить реальний запит. Експрес-перевірка SpotLens покаже, чи є сторінки в індексі та що заважає індексації. За потреби ми усунемо перешкоди для появи сторінок у Google.

На що спирається інструмент

Наведені вище орієнтири й зауваги спираються на ці 13 наукових праць. Для кожної ми перевірили DOI або сторінку видавця востаннє 14 листопада 2026 року. Працю опубліковано, її не відкликали й висновок досі актуальний для цього питання.

  1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Матеріали 16-ї Міжнародної конференції World Wide Web (WWW 2007), с. 1123–1124

    Висновок П’ять послідовних досліджень 7 593 сайтів показали, що robots.txt використовують дедалі частіше. Файл не примушує роботів виконувати правила: їх дотримуються сумлінні роботи.

    В інструменті Це пояснює попередження над кожним результатом: robots.txt просить дотримуватися правил і не блокує доступ самостійно.

  2. Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), с. 149–155

    Висновок У 2 925 файлах robots.txt роботи великих пошукових систем зазвичай отримували кращий доступ через окремі групи. Ця перевага була тісно пов’язана з їхньою часткою ринку.

    В інструменті Тому перевірка порівнює результати кількох роботів і показує, яка група діє для кожного. Відмінності виникають через іменовані групи.

  3. Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), с. 1171–1172

    Висновок У дослідженні близько 6 мільйонів сайтів не виявили помітних переваг для окремої пошукової системи, на відміну від меншого дослідження 2007 року.

    В інструменті Це пояснює, чому висновки про переваги відрізняються залежно від вибірки. Перевірка показує групу, що діє для кожного робота, без оцінки щодо переваг.

  4. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Матеріали 19-ї Міжнародної конференції World Wide Web (WWW 2010), с. 1101–1102

    Висновок Більшість комерційних краулерів дотримувалися правил, але багато з них раз у раз порушували або неправильно розуміли певні правила robots.txt.

    В інструменті Тому перевірка позначає рядки, які роботи тлумачать по-різному, а генератор створює лише прості рядки Allow і Disallow.

  5. Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), с. 668–675

    Висновок Дослідники стежили за поведінкою багатьох роботів на спеціальних сторінках із різними правилами robots.txt. Дотримання правил сильно різнилося, і чимало комерційних роботів регулярно порушували окремі правила.

    В інструменті Це пояснює різницю між правилом і фактичною поведінкою. Чи виконує його робот, можна дізнатися лише з журналу сервера.

  6. Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), с. 1771–1779

    Висновок Праця розглядає наслідки сканування для власників сайтів: витрати, приватність і перевантаження. Визначати, чи виправдане сканування в кожному окремому випадку, має оператор робота.

    В інструменті Це пояснює, чому для конфіденційних розділів перевірка радить захист паролем. Рядка Disallow для цього недостатньо.

  7. Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), с. 991–1000

    Висновок Порівняння переходів за посиланнями й карт сайту на мільярдах адрес Google показало, що обидва способи добре доповнюють один одного. Карти сайту допомагають швидше знайти сторінки без вхідних посилань і нові матеріали.

    В інструменті Тому перевірка окремо показує рядки Sitemap і перевіряє, чи містять вони повну адресу. Генератор також може додати цей рядок.

  8. Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), с. 183–210

    Висновок Порівняння поширених методів виявлення роботів показало, що жоден не дає надійних результатів у всіх випадках. Деякі роботи поводяться неналежно або суттєво навантажують сервер.

    В інструменті Надійно розпізнати роботів неможливо. Правило діє лише для роботів, які вказують своє ім’я й дотримуються правила.

  9. Kim, T.; Bock, K.; Luo, C. та ін. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Матеріали конференції ACM Internet Measurement Conference 2025 (IMC 2025), с. 541–557

    Висновок У контрольованих експериментах зі 130 іменованими роботами протягом 40 днів суворіших правил дотримувалися рідше. Пошукові роботи ШІ часто взагалі не запитували robots.txt.

    В інструменті Тому біля кожного результату «Заблоковано» є зауваження, що блокування — це прохання до робота. Якщо в генераторі вибрати «Заблокувати все», він порадить налаштувати захист на сервері.

  10. Longpre, S.; Mahari, R.; Lee, A. та ін. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), с. 108042–108087

    Результат Перевірка 14 000 доменів у навчальних даних ШІ за рік виявила значне зростання блокувань, великі відмінності між постачальниками ШІ та часті суперечності між умовами використання і robots.txt.

    В інструменті Тому роботи ШІ доступні для вибору окремо. Щоб з’ясувати, чи використовуються дані для навчання, інструмент скеровує до перевірки роботів ШІ.

  11. Liu, E.; Luo, E.; Shan, S. та ін. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), с. 78–99

    Висновок Вимірювання й опитування 203 митців показали значну потребу у robots.txt. Перешкодами були брак фахових знань та доступу до власного сайту. Блокування на зворотному проксі захищало ефективніше.

    В інструменті Тому генератор для типових випадків обходиться без фахової термінології й радить звернутися до хостинг-провайдера для надійного блокування.

  12. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), с. 29–41

    Висновок Аналіз близько 4 мільйонів доменів показав: robots.txt досі є основним засобом дозволу чи заборони доступу роботів. Доступ агентів ШІ здебільшого обмежують рядками Disallow.

    В інструменті Це пояснює, чому перевірка зосереджена на robots.txt й аналізує ідентифікатори роботів ШІ так само, як і пошукових роботів.

  13. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, с. 197–214

    Результат Близько 1,68 відсотка сайтів в одному знімку Common Crawl прямо відхиляли краулера, часто через великих хостерів і конструктори сайтів — від блокування до сторінки перевірки.

    В інструменті Тому слід ураховувати, що дозвіл у robots.txt не допоможе, якщо хостинг або захист від роботів блокує запит раніше.

Стандарти, органи влади та дані виробників

Залишилося запитання?

Переглянути всі 10 SEO-інструментів

Пн–Пт 8:00–17:00

Надішліть нам скопійований результат. Ми перевіримо robots.txt і карту вашого сайту та усунемо перешкоди для появи сторінок у Google в Родевіші й по всьому Фогтланду.

+49 3744 4399760[email protected]

Пн–Пт 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch

Замовити перевірку robots.txt
+49 3744 4399760Пн–Пт 8:00–17:00
ЗателефонуватиЗворотний дзвінок

ПЕРЕЛІК СКЛАДНИКІВ · АРКУШ 1/1

З чого складається ця сторінка

Значення виміряно під час збирання сайту, а з JavaScript ваш браузер перемірює їх наживо.

ПОЗ.СКЛАДНИКТИПРОЗМІР
01index.htmlДокумент≈ 29 КБ
02styles.cssТаблиця стилів≈ 20 КБ
03scripts.jsСкрипт≈ 13 КБ
04archivo-variable.woff2Шрифт≈ 58 КБ
05ibm-plex-mono.woff2Шрифт≈ 30 КБ
06favicon.svgГрафіка< 1 КБ

Рекламних чи аналітичних cookie: немає. Без вашої згоди сторінка нічого не завантажує зі сторонніх серверів, крім нашого сервісу доставки Cloudflare: шрифти, скрипти й графіка зберігаються в нас. Так само ми будуємо і вашу IT-інфраструктуру.

ПОЗА РОБОЧИМ ЧАСОМ

Телефонуйте все одно

Зазвичай ми в офісі Пн–Пт 8:00–17:00.

Увечері та у вихідні дзвінки на цей номер теж переадресовуються до нас, і часто хтось відповідає. Але обіцяти цього ми не можемо.

Якщо ніхто не відповів, залиште коротке голосове повідомлення: ім’я, номер і в чому справа. Ми передзвонимо якнайшвидше, не пізніше наступного робочого дня.

Розмова нічого не коштує. Якщо поза робочим часом потрібно, щоб хтось узявся до роботи негайно, діє надбавка з прайс-листа.

Зателефонувати зараз+49 3744 4399760

Вам зручніше написати? Через контактну форму або на [email protected]. Прочитаємо наступного робочого дня.

ДІАГНОСТИКА · AT-K2

Що сталося?

↵ ВИБРАТИESC ЗАКРИТИЗАТЕЛЕФОНУВАТИ: +49 3744 4399760

Власні налаштування

Які сервіси можна завантажувати?

Технічно необхідні

Рішення, яке ви тут ухвалите, а також налаштування колірної схеми та анімації. Ці дані зберігаються як невеликі записи на вашому пристрої й ніколи не надсилаються на сервер. Вони потрібні для роботи сайту, тому їх не можна вимкнути.