Інструмент AT-W48REV. 2026-A
Перевірка robots.txt: чи може Googlebot прочитати цю сторінку?
Доступ Googlebot до сторінки визначає один рядок у robots.txt: найдовше відповідне правило з групи для цього робота. Вставте файл і введіть шляхи або повні адреси. Перевірка покаже, чи доступний шлях для Googlebot, Bingbot, GPTBot та інших роботів, і вкаже вирішальний рядок. Ви також побачите, де Google тлумачить файл інакше, ніж передбачає стандарт.
- безкоштовно
- без реєстрації
- Текст залишається у браузері
01 / ПЕРЕВІРКА
Вставте robots.txt і перевірте кожен шлях
Перевірка · robots.txt за RFC 9309
Під час перевірки застосовуються правила RFC 9309 і враховуються підтверджені особливості окремих роботів. Чи дотримується робот цих правил, визначає його оператор.
02 / ПРАВИЛА
Як робот вирішує, чи завантажувати сторінку
З вересня 2022 року цей порядок закріплено в RFC 9309. До того діяла домовленість 1994 року, якої великі роботи дотримувалися з різною точністю Sun та ін., 2010. Перевірка застосовує RFC у такому порядку:
- Файл. Він розташований в основному каталозі за адресою /robots.txt і діє лише для конкретного хоста з відповідним протоколом і портом. Файл на ihre-firma.de не діє ні на www.ihre-firma.de, ні на shop.ihre-firma.de.
- Група. Робот шукає групу зі своєю назвою незалежно від регістру. Кілька груп з однаковою назвою об’єднуються. Якщо іменованої групи немає, діє «User-agent: *». Якщо немає й цієї групи, доступ відкрито до всіх шляхів.
- Правило. У групі діє найдовший рядок Allow або Disallow, що відповідає початку шляху. За однакової довжини перевагу має Allow. Порядок рядків не має значення.
- Символи. Зірочка замінює довільну кількість символів, а знак долара наприкінці позначає кінець адреси. Регістр символів у шляху має значення. Робот порівнює літери з умлаутом у відсотковому кодуванні, тож «/über» і «/%C3%BCber» еквівалентні.
- Виняток. Сам файл robots.txt відкритий для всіх, а рядки Sitemap діють незалежно від груп.
Яким шляхам відповідає шаблон
| Шаблон | Відповідає | Не відповідає |
|---|---|---|
| /fisch | /fisch, /fisch.html, /fischkopf/rezept | /Fisch, /katalog/fisch |
| /fisch/ | /fisch/, /fisch/?sorte=lachs | /fisch, /fisch.html |
| /*.php | /index.php, /ordner/seite.php?id=1 | /, /seite.PHP |
| /*.php$ | /seite.php | /seite.php?id=1, /seite.php5 |
| /*?s= | /?s=preise, /blog/?s=test | /blog/?seite=2 |
Порівняння завжди починається з початку шляху, тому /fisch не відповідає /katalog/fisch. Щоб шукати збіг будь-де, поставте попереду зірочку.
Діє найдовше правило
У прикладі група блокує магазин, але робить виняток для спеціальних пропозицій. Для /shop/angebote/herbst результат такий: доступ дозволено за рядком 3 «Allow: /shop/angebote/» у групі «User-agent: *». Це найдовше з 2 відповідних правил, воно має 15 символів. Для /shop/kasse доступ заблоковано, оскільки цьому шляху відповідає лише коротше правило.
Комерційні роботи довго порушували або неправильно тлумачили окремі правила Giles та ін., 2010. RFC установив однозначний порядок, але дотримуються його не всі роботи. Перевірка показує рядки, які роботи тлумачать по-різному.
User-agent: * Disallow: /shop/ Allow: /shop/angebote/
Найпоширеніша пастка: групи нічого не успадковують
Якщо робот отримує власну групу, загальна група на нього не поширюється навіть частково. У прикладі /intern/ має бути заблоковано для всіх, але Googlebot має власну групу для чернеток. Результат для /intern/preise: Bingbot не має доступу, а Googlebot має. Тому правила, спільні для всіх, потрібні в кожній іменованій групі.
Іменовані групи поширені. Ранній аналіз 2 925 файлів robots.txt виявив, що великі пошукові системи здебільшого отримували більше доступу завдяки власним групам Sun та ін., 2007b. Пізніше дослідження близько 6 мільйонів сайтів не виявило помітних переваг Kolay та ін., 2008. Незалежно від задуму власника, перевірка показує, яка група діє для кожного вибраного робота і для кого діє кожна група.
User-agent: * Disallow: /intern/ User-agent: Googlebot Disallow: /entwurf/
03 / GOOGLE
Де Google тлумачить robots.txt інакше, ніж вимагає стандарт
Google брав участь у написанні RFC і загалом його дотримується. Подекуди аналізатор Google поблажливіший або суворіший, а документація роз’яснює те, чого не визначає RFC. Перевірка застосовує правила RFC і позначає ці відмінності, щоб ваш файл діяв однаково для всіх роботів.
| Пункт | RFC 9309 | |
|---|---|---|
| Розмір файла | прочитати щонайменше 500 KiB | щонайбільше 500 KiB, решта ігнорується |
| Кеш | щонайбільше 24 години, крім випадків, коли файл недоступний | зазвичай до 24 годин, довше, якщо не вдається оновити копію |
| Переспрямування | слідувати щонайменше п’ятьом | щонайменше п’ять, далі як 404 |
| 404 та інші 4xx | немає robots.txt, усе дозволено | так само, за винятком 429 |
| 5xx або недоступно | доступ до всього заблоковано, а згодом (наприклад, через 30 днів) — як за відсутності файлу або застосовується збережена версія | 12 годин без сканування, далі до 30 днів діє остання справна копія, а без неї діють правила доступу без обмежень. Після цього — як за відсутності файлу, якщо сайт загалом доступний |
| Директиви | user-agent, allow, disallow. Робот може інтерпретувати й інші рядки, наприклад sitemap | лише user-agent, allow, disallow і sitemap. Директиви noindex, nofollow і crawl-delay не діють із 1 вересня 2019 року |
| Друкарські помилки, пропущена двокрапка | рядок не враховується | аналізатор Google усе одно розпізнає деякі помилки, як-от «Disalow», і рядки без двокрапки |
| Назва з додатковими символами | у назвах дозволено лише літери, - і _ | «googlebot/1.2» та «googlebot*» вважаються назвою «googlebot» |
| Умлаути та спеціальні символи | перед порівнянням перевести у відсоткове кодування | порівнює у відсотковому кодуванні |
| Карта сайту | робот може тлумачити цю директиву | повна адреса з протоколом і хостом, можна вказати інший хост |
Джерела: RFC 9309, документація Google про robots.txt (станом на 23 жовтня 2026 року), блог Google від 2 липня 2019 року, аналізатор Google. Перевірено 14 листопада 2026 року.
Інші пошукові системи мають свої особливості. Bing враховує Crawl-delay і за відсутності окремої групи bingbot використовує групу msnbot. Yandex не враховує Crawl-delay з 22 лютого 2018 року, і група «User-agent: Yandex» діє для всіх його роботів. Робот Apple за відсутності власної групи виконує правила групи Googlebot, а рекламні роботи Google оминають загальну групу. У таблиці нижче зазначено, що з цього враховує перевірка.
04 / РОБОТИ
Які назви вказувати у robots.txt
У рядку User-agent вкажіть токен продукту — коротку назву, яку оператор визначив для robots.txt, наприклад «Googlebot». Повний ідентифікатор із журналу сервера тут не потрібен. У списку перевірки є лише назви із документації операторів, а особливі правила враховано там, де їх описано.
| Назва в robots.txt | Оператор | Призначення | Особливість |
|---|---|---|---|
| Googlebot | Пошук Google, зокрема огляди ШІ | Якщо окремої групи немає, діє «*». | |
| Googlebot-Image | Картинки Google | Якщо окремої групи немає, застосовує правила групи Googlebot. | |
| bingbot | Microsoft | Bing та Copilot | Якщо окремої групи немає, спочатку використовує групу msnbot, а вже потім «*». Враховує Crawl-delay. |
| Applebot | Apple | Siri, Spotlight, Safari | Якщо окремої групи немає, застосовує правила групи Googlebot. |
| DuckDuckBot | DuckDuckGo | власний індекс DuckDuckGo | Якщо окремої групи немає, діє «*». |
| YandexBot | Yandex | Пошук Yandex | Якщо окремої групи немає, використовує групу Yandex. Crawl-delay не діє з лютого 2018 року. |
| Storebot-Google | Google Shopping | Google не описує запасної групи. Перевірка застосовує «*» за RFC 9309. | |
| AdsBot-Google | Перевіряє цільові сторінки Google Ads | Оминає групу «*». Заблокувати цього робота можна лише власною групою. | |
| Mediapartners-Google | AdSense та Ad Manager | Оминає групу «*». Заблокувати цього робота можна лише власною групою. |
Також є 24 ідентифікатори постачальників ШІ, зокрема GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot та Claude-User. Із 2023 року сайти дедалі частіше й по-різному блокують постачальників ШІ, причому умови користування й robots.txt часто суперечать одне одному Longpre та ін., 2024. Аналіз близько 4 мільйонів доменів показав, що robots.txt лишається основним засобом для цього, а агентів ШІ здебільшого обмежують директивою Disallow Hoffmann та ін., 2026. Для чого кожен робот ШІ сканує сайт, описано в перевірці роботів ШІ. Вона також отримує ваш справжній robots.txt.
05 / ГЕНЕРАТОР
Створіть robots.txt для типового випадку
Якщо вам потрібен robots.txt, вивчати фахові терміни не обов’язково. В опитуванні 203 митців багато хто хотів мати такий файл, проте часто бракувало знань та доступу до власного сайту Liu та ін., 2025. Тому генератор запитує лише, що можуть читати роботи, і створює прості рядки Allow та Disallow. Натисніть «Перевірити в інструменті», щоб передати текст до перевірки вище.
Генератор · robots.txt для типових випадків
Файл robots.txt керує лише скануванням. Він не захищає дані, оскільки доступний будь-кому, і не видаляє сторінки з індексу Google. Заблокована адреса може з’явитися серед результатів без опису, якщо на неї посилаються інші сторінки.
Генератор працює в браузері й нічого не надсилає. Збережіть файл під назвою robots.txt в основному каталозі. Кожен піддомен має окремий файл.
Рядок Sitemap майже завжди корисний. Переходи за посиланнями й карта сайту доповнюють одне одного: аналіз мільярдів адрес у Google показав, що карта сайту допомагає швидше знайти сторінки без вхідних посилань і нові матеріали Schonfeld і Shivakumar, 2009. У рядку потрібна повна адреса, і він діє для всіх груп.
06 / МЕЖІ ПЕРЕВІРКИ
Чого robots.txt не робить
- Файл не прибирає сторінки з індексу. За інформацією Google, robots.txt не може видалити сторінку з пошуку. Якщо на заблоковану адресу посилаються інші сторінки, вона може з’явитися в результатах без опису. Щоб видалити сторінку з індексу, застосуйте noindex. Google побачить його лише тоді, коли матиме доступ до сторінки.
- Файл не захищає дані. Він публічний і перелічує заблоковані шляхи. В RFC прямо зазначено, що robots.txt не замінює контроль доступу. Чи дотримуватиметься робот правил, вирішує його оператор Thelwall і Stuart, 2006. Конфіденційні матеріали слід захищати паролем.
- Це прохання до робота. Уже перші великі дослідження описували файл як правило, якого дотримуються сумлінні роботи, без примусового виконання Sun та ін., 2007a. Під час спостереження за 130 іменованими роботами протягом 40 днів суворіших правил дотримувалися рідше, а пошукові роботи ШІ нерідко взагалі не запитували файл Kim та ін., 2025.
- Правила залежать від імені робота. Жоден із поширених методів не дає змоги надійно розпізнавати всіх роботів Doran і Gokhale, 2011. Якщо робот представляється чужим іменем, правило для його справжнього імені не застосовується.
- Надійне блокування налаштовують на сервері. Блокування на зворотному проксі краще захищало від роботів ШІ, ніж robots.txt Liu та ін., 2025. Деякі хостинги й конструктори сайтів відхиляють запити роботів ще до обробки robots.txt. У вибірці Common Crawl таких сайтів було близько 1,68 відсотка Ansar та ін., 2025. У цьому випадку директива Allow не допоможе.
- Перевірка аналізує введений вами текст. Щоб дізнатися, чи ваш сервер справді віддає цей файл як текст із кодом 200, скористайтеся перевіркою роботів ШІ. Вона робить реальний запит.
Ця перевірка відповідає на попереднє запитання. Експрес-перевірка SpotLens покаже, чи є ваші сторінки в Google і що заважає їх появі. Як перевірити це самостійно, описано в пораднику Сайт не знайдено в Google. Як ми робимо сайти помітнішими в Родевіші (Rodewisch) і Фогтланді, читайте в розділі SEO. Інші інструменти для перевірки видимості є в розділі SEO і видимість.
07 / ДЛЯ АСИСТЕНТІВ ШІ
Як користуватися цим інструментом через ШІ-асистента
Асистенти на кшталт Claude чи ChatGPT, які підтримують Model Context Protocol (MCP), можуть викликати розрахунок цієї сторінки напряму, а не відтворювати його. Сервер публічний, не потребує реєстрації та нічого не зберігає. Відповідь завжди містить посилання на цю сторінку, дату даних і межі результату.
- Кінцева точка
https://aureum-tech.com/mcp- Інструмент
werkzeug_robots_txt_tester- Транспорт
- Streamable HTTP, лише читання
| Назва | Обов’язково | Значення |
|---|---|---|
robots_txt | так | Повний текст robots.txt, який доступний за адресою /robots.txt. |
pfade | ні | До 50 шляхів або повних URL, наприклад «/kontakt» чи «https://www.firma.de/blog?seite=2». З URL враховуються шлях і параметри запиту. Типово: «/». |
crawler | ні | Токени продуктів для роботів, наприклад Googlebot, bingbot і GPTBot. «*» позначає роботів без окремої групи. Відомі назви: Googlebot, Googlebot-Image, bingbot, Applebot, DuckDuckBot, YandexBot, Storebot-Google, AdsBot-Google, Mediapartners-Google, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Google-Agent, PerplexityBot, Perplexity-User, Applebot-Extended, meta-externalagent, meta-webindexer, meta-externalfetcher, Amazonbot, Amzn-SearchBot, Amzn-User, MistralAI-Training, MistralAI-Index, MistralAI-User, DuckAssistBot, YouBot, CCBot, Bytespider, *. Інші назви перевіряються за RFC 9309. Типово: Googlebot, bingbot, GPTBot, ClaudeBot, *. |
Запитання, на які асистентові варто його викликати
- «Чи дозволяє цей robots.txt роботу Googlebot завантажувати /wp-admin/admin-ajax.php?»
- «Чому моя заборона в групі “User-agent: *” не діє для GPTBot?»
- «Який рядок мого robots.txt блокує для Bingbot адресу https://www.firma.de/shop?sort=preis?»
- «Чи є помилка в рядку “Disalow: /intern/” у моєму robots.txt і чи все одно Google його прочитає?»
Як працює підключення і що MCP може дати вашій фірмі, описано на сторінці про MCP-інтеграції.
08 / ПОШИРЕНІ ЗАПИТАННЯ
Поширені запитання про robots.txt
Чи прибирає «Disallow» сторінку з індексу Google?
Ні. Disallow забороняє лише завантажувати сторінку. Якщо на цю адресу посилаються інші сторінки, Google може показати її в результатах без опису. Щоб сторінка зникла, дозвольте Google прочитати її й додайте noindex у метатег або заголовок X-Robots-Tag. Також можна повертати код 404 чи 410 або захистити сторінку паролем. Якщо одночасно заблокувати доступ і додати noindex, Google цього noindex не побачить.
Чому заборона в групі «User-agent: *» не діє для Googlebot?
Тому що для Googlebot є окрема група. Робот виконує правила групи зі своїм іменем, а до загальної групи «*» звертається лише за відсутності такої групи. Тому заборони із загальної групи потрібно повторити в кожній іменованій групі. У результатах перевірки зазначено, яка група діє.
Яке правило діє, якщо Allow і Disallow відповідають одному шляху?
Перевагу має довше правило: довжину рахують у символах. Якщо довжина однакова, діє Allow незалежно від порядку рядків у файлі. Тобто з «Disallow: /shop/» та «Allow: /shop/angebote/» шлях /shop/angebote/ залишається доступним, а решта магазину закрита.
Як швидко Google враховує зміни у robots.txt?
Зазвичай Google зберігає файл до 24 годин, а якщо не вдається оновити копію, то й довше. До того часу діють попередні правила. Тому спочатку перевірте зміни тут, а потім завантажте файл на сервер.
Чи можна захистити закриті розділи за допомогою robots.txt?
Ні. Це публічний файл, який може відкрити будь-хто, і він навіть розкриває заблоковані шляхи. У самому стандарті зазначено, що файл не замінює обмеження доступу. Конфіденційні матеріали слід захищати входом до облікового запису або паролем на сервері.
Чи враховує Google Crawl-delay або Noindex у robots.txt?
Ні. Google читає лише user-agent, allow, disallow і sitemap. З 1 вересня 2019 року noindex, nofollow і crawl-delay у robots.txt не діють для Google. Bing враховує Crawl-delay, а Yandex не враховує з лютого 2018 року. Applebot також його не враховує. Перевірка позначає такі рядки.
Що перевірка robots.txt не показує?
Інструмент аналізує вставлений вами текст за RFC 9309 з урахуванням задокументованих особливостей роботів. Щоб перевірити, чи сервер насправді віддає саме цей файл, скористайтеся перевіркою роботів ШІ: вона робить реальний запит. Експрес-перевірка SpotLens покаже, чи є сторінки в індексі та що заважає індексації. За потреби ми усунемо перешкоди для появи сторінок у Google.
09 / ДОСЛІДЖЕННЯ ТА ДЖЕРЕЛА
На що спирається інструмент
Наведені вище орієнтири й зауваги спираються на ці 13 наукових праць. Для кожної ми перевірили DOI або сторінку видавця востаннє 14 листопада 2026 року. Працю опубліковано, її не відкликали й висновок досі актуальний для цього питання.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Матеріали 16-ї Міжнародної конференції World Wide Web (WWW 2007), с. 1123–1124
Висновок П’ять послідовних досліджень 7 593 сайтів показали, що robots.txt використовують дедалі частіше. Файл не примушує роботів виконувати правила: їх дотримуються сумлінні роботи.
В інструменті Це пояснює попередження над кожним результатом: robots.txt просить дотримуватися правил і не блокує доступ самостійно.
doi.org/10.1145/1242572.1242726 · Доповідь на конференції
Sun, Y.; Zhuang, Z.; Councill, I. G.; Giles, C. L. (2007): Determining Bias to Search Engines from Robots.txt. IEEE/WIC/ACM International Conference on Web Intelligence (WI'07), с. 149–155
Висновок У 2 925 файлах robots.txt роботи великих пошукових систем зазвичай отримували кращий доступ через окремі групи. Ця перевага була тісно пов’язана з їхньою часткою ринку.
В інструменті Тому перевірка порівнює результати кількох роботів і показує, яка група діє для кожного. Відмінності виникають через іменовані групи.
doi.org/10.1109/WI.2007.98 · Доповідь на конференції
Kolay, S.; D'Alberto, P.; Dasdan, A.; Bhattacharjee, A. (2008): A larger scale study of robots.txt. Proceedings of the 17th International Conference on World Wide Web (WWW 2008), с. 1171–1172
Висновок У дослідженні близько 6 мільйонів сайтів не виявили помітних переваг для окремої пошукової системи, на відміну від меншого дослідження 2007 року.
В інструменті Це пояснює, чому висновки про переваги відрізняються залежно від вибірки. Перевірка показує групу, що діє для кожного робота, без оцінки щодо переваг.
doi.org/10.1145/1367497.1367711 · Доповідь на конференції
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Матеріали 19-ї Міжнародної конференції World Wide Web (WWW 2010), с. 1101–1102
Висновок Більшість комерційних краулерів дотримувалися правил, але багато з них раз у раз порушували або неправильно розуміли певні правила robots.txt.
В інструменті Тому перевірка позначає рядки, які роботи тлумачать по-різному, а генератор створює лише прості рядки Allow і Disallow.
doi.org/10.1145/1772690.1772824 · Доповідь на конференції
Sun, Y.; Councill, I. G.; Giles, C. L. (2010): The Ethicality of Web Crawlers. 2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), с. 668–675
Висновок Дослідники стежили за поведінкою багатьох роботів на спеціальних сторінках із різними правилами robots.txt. Дотримання правил сильно різнилося, і чимало комерційних роботів регулярно порушували окремі правила.
В інструменті Це пояснює різницю між правилом і фактичною поведінкою. Чи виконує його робот, можна дізнатися лише з журналу сервера.
doi.org/10.1109/WI-IAT.2010.316 · Доповідь на конференції
Thelwall, M.; Stuart, D. (2006): Web crawling ethics revisited: Cost, privacy, and denial of service. Journal of the American Society for Information Science and Technology 57 (13), с. 1771–1779
Висновок Праця розглядає наслідки сканування для власників сайтів: витрати, приватність і перевантаження. Визначати, чи виправдане сканування в кожному окремому випадку, має оператор робота.
В інструменті Це пояснює, чому для конфіденційних розділів перевірка радить захист паролем. Рядка Disallow для цього недостатньо.
doi.org/10.1002/asi.20388 · Фаховий журнал
Schonfeld, U.; Shivakumar, N. (2009): Sitemaps: above and beyond the crawl of duty. Proceedings of the 18th International Conference on World Wide Web (WWW 2009), с. 991–1000
Висновок Порівняння переходів за посиланнями й карт сайту на мільярдах адрес Google показало, що обидва способи добре доповнюють один одного. Карти сайту допомагають швидше знайти сторінки без вхідних посилань і нові матеріали.
В інструменті Тому перевірка окремо показує рядки Sitemap і перевіряє, чи містять вони повну адресу. Генератор також може додати цей рядок.
doi.org/10.1145/1526709.1526842 · Доповідь на конференції
Doran, D.; Gokhale, S. S. (2011): Web robot detection techniques: overview and limitations. Data Mining and Knowledge Discovery 22 (1–2), с. 183–210
Висновок Порівняння поширених методів виявлення роботів показало, що жоден не дає надійних результатів у всіх випадках. Деякі роботи поводяться неналежно або суттєво навантажують сервер.
В інструменті Надійно розпізнати роботів неможливо. Правило діє лише для роботів, які вказують своє ім’я й дотримуються правила.
doi.org/10.1007/s10618-010-0180-z · Оглядова праця
Kim, T.; Bock, K.; Luo, C. та ін. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Матеріали конференції ACM Internet Measurement Conference 2025 (IMC 2025), с. 541–557
Висновок У контрольованих експериментах зі 130 іменованими роботами протягом 40 днів суворіших правил дотримувалися рідше. Пошукові роботи ШІ часто взагалі не запитували robots.txt.
В інструменті Тому біля кожного результату «Заблоковано» є зауваження, що блокування — це прохання до робота. Якщо в генераторі вибрати «Заблокувати все», він порадить налаштувати захист на сервері.
doi.org/10.1145/3730567.3764471 · Доповідь на конференції
Longpre, S.; Mahari, R.; Lee, A. та ін. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), с. 108042–108087
Результат Перевірка 14 000 доменів у навчальних даних ШІ за рік виявила значне зростання блокувань, великі відмінності між постачальниками ШІ та часті суперечності між умовами використання і robots.txt.
В інструменті Тому роботи ШІ доступні для вибору окремо. Щоб з’ясувати, чи використовуються дані для навчання, інструмент скеровує до перевірки роботів ШІ.
doi.org/10.52202/079017-3431 · Доповідь на конференції
Liu, E.; Luo, E.; Shan, S. та ін. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), с. 78–99
Висновок Вимірювання й опитування 203 митців показали значну потребу у robots.txt. Перешкодами були брак фахових знань та доступу до власного сайту. Блокування на зворотному проксі захищало ефективніше.
В інструменті Тому генератор для типових випадків обходиться без фахової термінології й радить звернутися до хостинг-провайдера для надійного блокування.
doi.org/10.1145/3730567.3732913 · Доповідь на конференції
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56 (2), с. 29–41
Висновок Аналіз близько 4 мільйонів доменів показав: robots.txt досі є основним засобом дозволу чи заборони доступу роботів. Доступ агентів ШІ здебільшого обмежують рядками Disallow.
В інструменті Це пояснює, чому перевірка зосереджена на robots.txt й аналізує ідентифікатори роботів ШІ так само, як і пошукових роботів.
doi.org/10.1145/3831956.3831960 · Фаховий журнал
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, с. 197–214
Результат Близько 1,68 відсотка сайтів в одному знімку Common Crawl прямо відхиляли краулера, часто через великих хостерів і конструктори сайтів — від блокування до сторінки перевірки.
В інструменті Тому слід ураховувати, що дозвіл у robots.txt не допоможе, якщо хостинг або захист від роботів блокує запит раніше.
doi.org/10.1007/978-3-031-85960-1_9 · Доповідь на конференції
Стандарти, органи влади та дані виробників
- RFC 9309: Robots Exclusion Protocol · IETF, вересень 2022
- How Google interprets the robots.txt specification · Google Search Central, станом на 23 жовтня 2026 року
- Introduction to robots.txt · Google Search Central
- Block Search indexing with noindex · Google Search Central
- A note on unsupported rules in robots.txt · блог Google Search Central, 2 липня 2019 року
- Google common crawlers · Google Search Central
- Google special-case crawlers (AdsBot, Mediapartners) · Google Search Central
- google/robotstxt: аналізатор robots.txt від Google (друкарські помилки, Googlebot-Image) · Google, GitHub
- To crawl or not to crawl, that is BingBot’s question · блог Bing Webmaster, 3 травня 2012 року
- Про Applebot · Apple, станом на 4 вересня 2026 р.
- DuckDuckBot · DuckDuckGo
- The User-agent directive · Yandex Webmaster
- The Crawl-delay directive · Yandex Webmaster
- WordPress, GitHub · WordPress: do_robots() у wp-includes/functions.php
10 / ІНШІ ІНСТРУМЕНТИ
Залишилося запитання?
- AT-W42 · Для бізнесу
Попередній перегляд сніпета
Як ваша сторінка виглядає в Google? Заголовок і опис із шириною в пікселях, для комп’ютера та смартфона. - AT-W43 · Для бізнесу
Генератор Schema
Структуровані дані для вашої фірми: LocalBusiness, години роботи та FAQ у форматі JSON-LD для вставлення. - AT-W44 · Для бізнесу
Перевірка профілю компанії
Чи повний ваш профіль компанії в Google? Чого бракує, відсортовано за впливом. - AT-W45 · Для бізнесу
Перевірка NAP
Чи всюди однакові назва, адреса й номер телефону? Порівняйте записи з довідників. - AT-W46 · Для бізнесу
Сортувальник ключових слів
Які пошукові запити пов’язані між собою і чого хоче той, хто шукає? Списки, відсортовані за темою та наміром пошуку. - AT-W47 · Для дому та бізнесу
Перевірка читабельності
Наскільки зрозумілий ваш текст? Індекс читабельності для німецької мови, довгі речення та складні слова позначено.
Надішліть нам скопійований результат. Ми перевіримо robots.txt і карту вашого сайту та усунемо перешкоди для появи сторінок у Google в Родевіші й по всьому Фогтланду.
+49 3744 4399760[email protected]Пн–Пт 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch