Інструмент AT-W29REV. 2026-A
Перевірка ШІ-краулерів: чи можуть ChatGPT, Claude та Perplexity читати ваш сайт?
Чи може ШІ-асистент читати ваш сайт, визначає robots.txt: для кожного краулера — окрема група, інакше діє спільне правило „User-agent: *". Важлива мета. GPTBot і ClaudeBot збирають дані для навчання, OAI-SearchBot і Claude-SearchBot — для ШІ-пошуку, а ChatGPT-User завантажує сторінку, коли хтось питає про неї в чаті. Перевірка читає ваші правила для 27 краулерів, перевіряє llms.txt і створює відповідний блок.
- безкоштовно
- без реєстрації
- 5 хвилин у кеші
01 / ЗАПИТ
Введіть домен і перегляньте доступ для кожного краулера
Запит · robots.txt, llms.txt і головна сторінка
Перевірка читає правила такими, якими вони сьогодні є на сервері, і оцінює їх за RFC 9309. Чи дотримується їх краулер, вирішує його оператор.
Без запиту: вставте текст robots.txt
Наприклад, для файлу, якого ще немає онлайн. Текст лишається в браузері; застосовується шлях, указаний вище.
02 / КРАУЛЕРИ
Які бувають ШІ-краулери та для чого вони читають
Великі оператори надсилають не один краулер, а кілька — залежно від мети. Це головне під час налаштування: хто блокує „ШІ", зазвичай також зникає з ШІ-пошуку й більше не зазначається там як джерело. Від 2023 року сайти дедалі частіше блокують ШІ-операторів, і дуже по-різному; дослідники часто знаходили суперечності між умовами використання та robots.txt Longpre та ін. 2024. Тому перевірка показує кожен краулер окремо.
| Вид | Записи | Що вони роблять |
|---|---|---|
| ШІ-пошук | 11 | Створює індекс, з якого ШІ-асистент або пошукова система бере відповіді з джерелами. Якщо заблокувати, сторінка там рідше або зовсім не з’являється як джерело. |
| Навчання | 6 | Збирає вміст, на якому навчаються мовні моделі. Заборона діє на майбутні цикли навчання, а не на вже навчені моделі. |
| Перемикач для навчання | 2 | Не окремий краулер. Правило повідомляє оператору, чи можна використати для навчання вже зібрані дані. |
| Запит користувача | 7 | Завантажує окрему сторінку, бо людина саме про неї запитує. Кілька операторів пишуть, що robots.txt для цього не діє або діє не завжди. |
Два записи заслуговують на окрему увагу. Common Crawl сам не навчає модель, але створює найбільший у вільному доступі архів вебу, який є одним із найважливіших джерел попереднього навчання великих мовних моделей Baack 2024. Наприклад, відомий навчальний корпус C4 створили з одного такого зрізу Dodge та ін. 2021. Тому той, хто не хоче навчання, блокує й CCBot; але жодне правило не поверне те, що вже потрапило до зрізу. Другий — Googlebot: він у списку, бо ШІ-огляди та ШІ-режим пошуку Google спираються на його індекс. Його не блокує ніхто, хто хоче, щоб його знаходили в Google.
Усі 27 врахованих краулерів
| Назва в robots.txt | Оператор | Призначення | robots.txt діє | Що пише оператор |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | ШІ-пошук | так, за даними оператора | Забезпечує пошук у ChatGPT. Той, хто його блокує, не з’являється там як джерело у відповідях. |
| Claude-SearchBot | Anthropic | ШІ-пошук | так, за даними оператора | Працює для пошуку в Claude. Якщо заблоковано, сторінка там рідше з’являється в результатах. |
| Googlebot | ШІ-пошук | так, за даними оператора | Краулер пошуку Google. ШІ-огляди й ШІ-режим також використовують цей індекс; керування там відбувається через nosnippet, max-snippet і noindex. | |
| PerplexityBot | Perplexity | ШІ-пошук | так, за даними оператора | Створює індекс, із якого Perplexity посилається на джерела. За даними оператора, не для навчання моделей. |
| Applebot | Apple | ШІ-пошук | так, за даними оператора | Краулер для пошуку в Siri, Spotlight і Safari. За даними Apple, ці дані також можуть використовуватися для навчання моделей Apple; для цього існує Applebot-Extended. |
| meta-webindexer | Meta | ШІ-пошук | так, за даними оператора | Індексує для пошуку в Meta AI, щоб Meta могла цитувати та посилатися на вміст. |
| Amzn-SearchBot | Amazon | ШІ-пошук | так, за даними оператора | Для функцій пошуку в продуктах Amazon, як-от Alexa; за даними Amazon, не для навчання. |
| bingbot | Microsoft | ШІ-пошук | так, за даними оператора | Краулер Bing. Microsoft не називає окремого ШІ-ідентифікатора; з лютого 2027 року вказівки для навчання та ШІ-відповідей стосуються Bingbot. |
| MistralAI-Index | Mistral | ШІ-пошук | так, за даними оператора | Сканує лише для пошукового індексу, за даними Mistral — не для навчання. |
| DuckAssistBot | DuckDuckGo | ШІ-пошук | так, за даними оператора | Завантажує сторінки в реальному часі для ШІ-відповідей DuckDuckGo із зазначенням джерел. За даними оператора, не для навчання. |
| YouBot | You.com | ШІ-пошук | так, за даними оператора | Краулер пошукової системи You.com. Дотримується robots.txt, зокрема Crawl-delay. |
| GPTBot | OpenAI | Навчання | так, за даними оператора | Збирає вміст, який може потрапити до навчання моделей OpenAI. За даними OpenAI, блокування означає: не використовувати для навчання. |
| ClaudeBot | Anthropic | Навчання | так, за даними оператора | Збирає вміст, який може потрапити до навчання моделей Anthropic. Anthropic дотримується robots.txt і Crawl-delay. |
| meta-externalagent | Meta | Навчання | так, за даними оператора | Збирає дані для навчання ШІ-моделей і продуктів Meta. |
| Amazonbot | Amazon | Навчання | так, за даними оператора | Покращує продукти Amazon; це може включати навчання ШІ-моделей Amazon. Crawl-delay не враховує. |
| MistralAI-Training | Mistral | Навчання | так, за даними оператора | Збирає вміст для навчальних даних моделей Mistral. |
| CCBot | Common Crawl | Навчання | так, за даними оператора | Створює відкритий архів вебу. Common Crawl сам нічого не навчає, але архів є одним із найважливіших джерел навчальних даних. |
| Google-Extended | Перемикач для навчання | так, за даними оператора | Не окремий краулер, а перемикач: чи можуть дані, отримані Google, використовуватися для навчання майбутніх моделей Gemini та обґрунтування відповідей Gemini? За даними Google, на пошук Google він не впливає. | |
| Applebot-Extended | Apple | Перемикач для навчання | так, за даними оператора | Не окремий краулер. Якщо заблоковано, Apple не використовує вміст для навчання своїх моделей; у пошуку сторінка лишається. |
| ChatGPT-User | OpenAI | Запит користувача | не завжди | Завантажує сторінку, коли хтось питає про неї в ChatGPT. За даними OpenAI, правила robots.txt можуть для цього не діяти. |
| Claude-User | Anthropic | Запит користувача | так, за даними оператора | Завантажує сторінки, коли користувачі ставлять запитання в Claude. Anthropic пише, що її боти дотримуються robots.txt. |
| Google-Agent | Запит користувача | не завжди | Переглядає сайти від імені користувача та виконує дії. За даними Google, запити користувачів зазвичай обходять robots.txt. | |
| Perplexity-User | Perplexity | Запит користувача | не завжди | Завантажує сторінки, коли користувач ставить запитання. За даними Perplexity, зазвичай ігнорує robots.txt. |
| meta-externalfetcher | Meta | Запит користувача | не завжди | Завантажує окремі посилання на запит користувача, також для ШІ-агентів. За даними Meta, може обходити robots.txt. |
| Amzn-User | Amazon | Запит користувача | не завжди | Завантажує актуальні дані для запитання користувача, наприклад для Alexa. За даними Amazon, не дотримується всіх правил robots.txt. |
| MistralAI-User | Mistral | Запит користувача | так, за даними оператора | Завантажує сторінку, коли користувач ставить запитання, і посилається на неї як на джерело. За даними Mistral, група robots.txt визначає, які сторінки для цього доступні. |
| Bytespider | ByteDance | неясно | не підтверджено | Документації оператора не знайдено. Призначення та поводження з robots.txt не підтверджені. |
Не включено: назви з каталогів ботів, яких сам оператор не називає (наприклад, anthropic-ai або cohere-ai). За власною документацією Cohere наразі не має краулера; Microsoft не називає окремого ШІ-ідентифікатора, її вказівки для ШІ стосуються bingbot. Станом на 14 листопада 2026 року.
03 / ГЕНЕРАТОР
Заблокувати навчання, дозволити ШІ-пошук: відповідний блок
Більшість компаній хочуть одного: з’являтися як джерело у відповідях ChatGPT, Claude або Perplexity, але не надавати без запиту матеріал для навчання. Генератор уже налаштований для цього. Він створює кожну групу окремо й використовує лише Allow та Disallow без шаблонів, адже навіть комерційні краулери раз у раз неправильно розуміють певні правила Giles та ін. 2010. Вставте блок у свій наявний robots.txt; група „User-agent: *" лишається без змін.
Генератор · блок robots.txt
Генератор працює в браузері й нічого не надсилає.
Генератор · каркас llms.txt
Працює в браузері. Файл має бути як llms.txt у головному каталозі сайту.
Найпоширеніша пастка: групи нічого не успадковують
Краулер дотримується саме групи зі своєю назвою. Якщо вона існує, спільне правило для нього більше не діє, навіть частково. У прикладі праворуч „User-agent: *" блокує розділ /intern/, але GPTBot має власну групу з „Allow: /".
Результат для /intern/preise: ClaudeBot заблокований (рядок 2: Disallow: /intern/ (група *)), а GPTBot може читати (рядок 5: Allow: / (група GPTBot)). Тому те, що має бути заблоковане для всіх, треба включати до кожної названої групи. У генераторі введіть такі розділи один раз — він повторить їх усюди.
User-agent: * Disallow: /intern/ User-agent: GPTBot Allow: /
Спільний сигнал для навчання
Від 30 жовтня 2026 року в IETF є проєкт, який має скоротити окремі блокування: група „User-agent: __usage_ai-training" з „Disallow: /" одразу повідомляє всім операторам-учасникам, що ви не бажаєте навчання. Шляхи працюють, як і зазвичай, „Allow: /presse/" виключає пресматеріали. Група не є командою для сканування, а спільне правило „User-agent: *" для цього прямо не враховується. Оскільки проєкт новий і його ще читають не всі оператори, генератор створює обидва варіанти: окремі групи та сигнал.
| Провайдер | Відколи |
|---|---|
| Anthropic | з 30 жовтня 2026 року; названа група ClaudeBot має пріоритет |
| Microsoft (Bing) | з 1 лютого 2027 року |
| заплановано на 2027 рік; без окремої групи Google-Extended Google оцінює відмову як заблокований Google-Extended | |
| OpenAI | „найближчими місяцями"; правила GPTBot лишаються |
Джерело: draft-kelley-aipref-training-preference-signal-00, не має статусу стандарту, спливає 3 травня 2027 року. Станом на 14 листопада 2026 року.
04 / ПРАВИЛА
Як краулер читає ваш robots.txt
Від вересня 2022 року цей порядок закріплено в RFC 9309, і за ним працює перевірка. Файл завжди лежить у /robots.txt головного каталогу та діє лише для конкретного хоста: якщо ihre-firma.de переспрямовує на www.ihre-firma.de, враховується файл на www. Краулер шукає групу зі своєю назвою, без урахування регістру; якщо її немає, бере „User-agent: *", а якщо немає й її — може все. Усередині групи перемагає найдовше відповідне правило, а за рівності — Allow. Зірочка означає будь-які символи, а долар наприкінці — кінець адреси.
Ще у 2007 році дослідження 7 593 сайтів показало, що файл використовують дедалі частіше, а також підтвердило його сутність: це правило, якого дотримуються порядні краулери, а не засіб примусу Sun та ін. 2007. Відтоді нічого не змінилося.
| Відповідь | RFC 9309 | |
|---|---|---|
| 200, текстовий файл | Правила діють, читається щонайменше 500 KiB | так само, усе після 500 KiB ігнорується |
| 200, але вебсторінка | немає дійсного рядка, отже, немає правила | так само |
| 404 та інші 4xx | немає robots.txt, усе дозволено | усе дозволено, крім 429 |
| 429 забагато запитів | як 4xx | як помилка сервера |
| 5xx або недоступно | усе заблоковано | 12 годин без сканування, потім до 30 днів — остання добра версія |
| Переспрямування | слідувати щонайменше п’ятьом | щонайменше п’ять, далі як 404 |
Google зазвичай зберігає файл до 24 годин, Amazon — до 30 днів. Тому зміни не діють одразу. Наш запит переходить не більш як за трьома переспрямуваннями. Станом на 14 листопада 2026 року.
Вказівки на самих сторінках
Окрім robots.txt, є вказівки для кожної сторінки: метатег у розділі head або X-Robots-Tag у відповіді сервера. Перевірка читає їх на головній сторінці. Для ШІ особливо важливі такі: noindex прибирає сторінку з пошукового індексу, а отже й зі ШІ-оглядів; nosnippet забороняє Google текстовий уривок, також у ШІ-оглядах і ШІ-режимі. Amazon читає noarchive як „не для навчання". Microsoft із 1 лютого 2027 року вводить власні вказівки для навчання й обґрунтування (ai-training, ai-grounding), а з березня 2027 року більше не читає noarchive і nocache як ШІ-вказівки. Вказівки на кшталт „noai" поширені, але жоден оператор із нашого списку їх не документує.
05 / МЕЖІ
Чого robots.txt не робить
- Це прохання. У дослідах зі 130 названими ботами протягом 40 днів боти рідше дотримувалися суворих правил, а ШІ-пошукові краулери часто навіть не запитували файл Kim та ін. 2025.
- Вона діє лише за назвою. Спеціально підготовлені сайти дали змогу довести, який запитувач постачає дані якій ШІ-системі, зокрема кільком, яких оператор не розкриває Seiden та ін. 2026. Той, хто приходить під чужою назвою, не потрапляє під жодне правило.
- Запити користувачів частково обходять правила. OpenAI, Perplexity, Meta, Amazon і Google самі пишуть, що їхні запити на прохання користувача не завжди дотримуються robots.txt. Anthropic і Mistral також називають файл засобом керування для цього.
- Жорсткі блокування роблять на сервері. Художникам часто бракувало знань або доступу до власного сайту для robots.txt; ефективнішими виявилися блокування на reverse proxy Liu та ін. 2025. І навпаки, деякі хостери й конструктори сайтів блокують краулери без відома власника: в одному зрізі Common Crawl близько 1,68 відсотка сайтів прямо відхиляли краулер Ansar та ін. 2025. Якщо головна сторінка відповість на наш запит сторінкою перевірки, перевірка повідомить про це.
- Наш запит — не ШІ-краулер. Сервер робить запит із власним ідентифікатором. Якщо фаєрвол блокує краулерів за назвою, наприклад через налаштування Cloudflare, перевірка цього не побачить.
А з погляду права?
Згідно з § 44b Abs. 3 UrhG, аналіз текстів і даних щодо вільно доступних творів дозволено, доки правовласник не застеріг право на це за собою, а для матеріалів у мережі враховується лише застереження в машиночитаній формі. robots.txt є машиночитаним, але остаточно не з’ясовано, чи достатньо його як такого застереження. Правнича праця обґрунтовує, що в країнах загального права обхід файлу за певних обставин може спричинити відповідальність Chang und He 2025; для Німеччини це треба перевіряти окремо. Тому, якщо ви хочете заявити застереження, додатково вкажіть його в імпресумі або в умовах використання. Це не юридична консультація.
06 / LLMS.TXT
llms.txt: що файл може і чого не може
Jeremy Howard запропонував llms.txt 3 вересня 2024 року; опис є на llmstxt.org. Це Markdown-файл у /llms.txt: заголовок із назвою — єдина обов’язкова частина, потім короткий опис як цитата, за бажанням кілька речень і розділи зі списками посилань на найважливіші сторінки. Розділ „Optional" містить те, що асистент може пропустити.
Вимірювання приблизно 4 мільйонів доменів виявило файл передусім у технологічних компаній, а деякі його посилання вели на сторінки, заблоковані власним robots.txt Hoffmann та ін. 2026. Саме це перевіряє інструмент. Дороговказ на заблоковані сторінки веде в нікуди.
Відверто кажучи: Google пише у своїй документації щодо ШІ-оглядів, що для них не потрібно створювати нові машиночитані файли, і жоден із врахованих тут операторів не зазначає в документації краулерів, що читає llms.txt чужих сайтів. Отже, це не важіль видимості. Утім, вона корисна як короткий, чіткий опис себе, який асистент може прочитати під час запиту користувача, і тому, що її можна зробити за десять хвилин.
Наш власний файл лежить за адресою aureum-tech.com/llms.txt. Каркас для вашого створює генератор вище.
07 / ВИДИМІСТЬ
Можна читати — ще не означає, що вас згадають
Перевірка відповідає на попереднє запитання. Чи назве ChatGPT вашу компанію, коли хтось шукає електрика в Плауені, залежить від вмісту ваших сторінок і від того, що про вас пишуть інші. В експериментах видимість джерел у ШІ-відповідях вдавалося підвищити до 40 відсотків завдяки опрацюванню вмісту, причому засоби відрізнялися залежно від галузі Aggarwal та ін. 2024. У вимірюванні з 55 393 пошуковими запитами ШІ-огляд Google з’являвся у 13,7 відсотка випадків, для запитань — у 64,7 відсотка, а майже 30 відсотків процитованих там доменів не було серед результатів першої сторінки Xu та ін. 2026.
Згадка також не означає правильного цитування. У чотирьох ШІ-пошуковиках у середньому лише трохи більше половини речень були підтверджені вказаними джерелами Liu та ін. 2023. А той, хто блокує ШІ-краулер Google, рідше використовується як джерело в ШІ-оглядах, хоча Google пише, що перемикач не впливає на пошук Grossman та ін. 2026.
Наскільки ваша компанія справді видима в ChatGPT, Perplexity та ШІ Google, покаже Quick-Check від SpotLens. Про те, як ми створюємо вміст і структуровані дані так, щоб ШІ-пошук їх цитував, читайте в AI-SEO. Якщо ви хочете спочатку перевірити самі, у посібнику є матеріали про те, як перевірити видимість у ChatGPT та що означає ШІ-видимість для компаній. Окремі правила можна перевірити в тестері robots.txt, а інші інструменти для пошукової видимості є в розділі SEO та видимість.
08 / ДОСЛІДЖЕННЯ
Що про це кажуть дослідження
Оцінка в перевірці спирається на 15 рецензованих робіт. Найважливіші висновки та повний список із позначкою про перевірку наведено нижче.
- Блокувань стає більше, і вони нерівномірні. За один рік було заблоковано значні частини джерел даних для ШІ-навчання, по-різному залежно від оператора Longpre та ін. 2024. Тому перевірка показує кожен краулер окремо.
- Правил дотримуються вибірково. Що суворіше правило, то рідше боти його виконували Kim та ін. 2025. Тому перевірка не вимірює того, чого не може виміряти, і прямо про це каже.
- Навчання відбувається через архіви. Common Crawl — одне з найважливіших джерел попереднього навчання Baack 2024, а такі корпуси, як C4, виникають з окремих зрізів Dodge та ін. 2021. Тому перевірка попереджає, якщо CCBot лишається відкритим.
- ШІ-огляди вибирають власні джерела. Багато процитованих доменів немає на першій сторінці Xu та ін. 2026, а заблоковані ШІ-краулери пов’язані з рідшими згадками Grossman та ін. 2026.
- llms.txt новий і часто суперечливий. Посилання у файлі частково ведуть на заблоковані сторінки Hoffmann та ін. 2026; перевірка перевіряє кожне власне посилання.
09 / ДЛЯ ШІ-АСИСТЕНТІВ
Як користуватися цим інструментом через ШІ-асистента
Асистенти на кшталт Claude чи ChatGPT, які підтримують Model Context Protocol (MCP), можуть викликати розрахунок цієї сторінки напряму, а не відтворювати його. Сервер публічний, не потребує реєстрації та нічого не зберігає. Відповідь завжди містить посилання на цю сторінку, дату даних і межі результату.
- Кінцева точка
https://aureum-tech.com/mcp- Інструмент
werkzeug_ki_crawler_check- Транспорт
- Streamable HTTP, лише читання
| Назва | Обов’язково | Значення |
|---|---|---|
domain | ні | Домен сайту, наприклад ihre-firma.de або https://www.ihre-firma.de. Шлях ігнорується, robots.txt завжди лежить у кореневому каталозі. Лише публічні сайти, порт 80 або 443. |
robots_txt | ні | Замість домену: текст robots.txt, який оцінюється без запиту. Не вказуйте разом із domain. |
pfad | ні | Шлях для перевірки, наприклад /blog/artikel. Без указання — головна сторінка „/". |
Запитання, на які асистентові варто його викликати
- „Чи може ChatGPT читати мій сайт handwerk-muster.de?"
- „Чи наш robots.txt випадково блокує ШІ-пошук Perplexity та ChatGPT?"
- „Як заборонити ШІ-навчання, але лишитися видимими в пошуку ChatGPT і Claude?"
- „Чи має www.beispiel-praxis.de llms.txt і чи ведуть її посилання на заблоковані сторінки?"
Як працює підключення і що MCP може дати вашій фірмі, описано на сторінці про MCP-інтеграції.
10 / ЧАСТІ ЗАПИТАННЯ
Часті запитання про ШІ-краулери, robots.txt і llms.txt
Як заборонити ШІ-навчання, але не зникнути з пошуку ChatGPT?
OpenAI розділяє це: GPTBot збирає дані для навчання, OAI-SearchBot — для пошуку в ChatGPT, і кожне налаштування діє окремо. Тож у robots.txt для GPTBot має бути „Disallow: /", а для OAI-SearchBot — „Allow: /". Те саме в Anthropic для ClaudeBot і Claude-SearchBot, а в Google заблокуйте Google-Extended і не чіпайте Googlebot. Генератор на цій сторінці створить повний блок для всіх врахованих операторів.
У чому різниця між GPTBot, OAI-SearchBot і ChatGPT-User?
GPTBot збирає вміст, який може потрапити в навчання майбутніх моделей. OAI-SearchBot створює індекс, з якого ChatGPT називає джерела під час пошуку; за даними OpenAI, якщо його заблокувати, сайт не з’являтиметься там у відповідях. ChatGPT-User завантажує окрему сторінку, коли хтось саме про неї запитує в чаті. За даними OpenAI, правила robots.txt можуть не поширюватися на такий запит.
Чи зникне мій сайт із Google, якщо заблокувати Google-Extended?
Ні. Google-Extended — не окремий краулер, а перемикач, який визначає, чи можна використовувати зібрані Google дані для навчання Gemini та обґрунтування відповідей Gemini. За даними Google, він не впливає ані на потрапляння до пошуку, ані на позиції. ШІ-огляди в пошуку Google залежать від Googlebot і правил сніпетів, як-от nosnippet. Вимірювання 2026 року, однак, виявило, що сторінки із заблокованим ШІ-краулером Google рідше ставали джерелами в ШІ-оглядах.
Чи потрібен мені llms.txt?
Вона не обов’язкова. llms.txt — це пропозиція Jeremy Howard від вересня 2024 року: Markdown-файл із заголовком, коротким описом і посиланнями на найважливіші сторінки. Google прямо пише, що для ШІ-оглядів не потрібні нові машиночитані файли, і жоден із врахованих тут операторів не зазначає у своїй документації краулерів, що читає її. Шкоди від неї немає, її можна швидко зробити; каркас надає генератор. Важливіше, щоб її посилання не вели на заблоковані сторінки.
Чи кожен краулер дотримується robots.txt?
Ні. robots.txt — це прохання, а не замок. Вимірювання показують, що боти рідше виконують суворі правила, а ШІ-пошукові краулери часто взагалі не запитують файл. Запити користувачів, як-от ChatGPT-User, Perplexity-User чи meta-externalfetcher, за даними їхніх операторів, частково обходять robots.txt, а той, хто збирає дані без імені, не потрапляє під жодне правило. Для справжнього блокування потрібна заборона на сервері або в хостера.
Чи діє блокування на моделі, які вже навчені?
Ні. OpenAI та Anthropic описують блокування як вказівку для майбутнього навчання. Навчальні дані виникають із фіксованих зрізів вебу, наприклад з архіву Common Crawl; те, що вже там є, там і лишається. Тому, якщо ви не хочете навчання, варто врахувати й CCBot.
Що означає „User-agent: __usage_ai-training"?
Це спільний сигнал для навчання за проєктом IETF від 30 жовтня 2026 року. Група з цією назвою та „Disallow: /" одразу повідомляє всім операторам-учасникам, що ви не бажаєте навчання. За власними даними, Anthropic уже враховує його, Microsoft — з 1 лютого 2027 року, Google планує це на 2027 рік, а OpenAI — найближчими місяцями. Це не команда для сканування, а група „User-agent: *" для цього прямо не враховується.
Де закінчуються можливості перевірки ШІ-краулерів?
Вона читає правила вашого robots.txt, llms.txt і вказівки Robots на головній сторінці та повідомляє для кожного краулера, що дозволено. Але вона не вимірює, чи дотримується краулер правил, і не перевіряє, чи знає та рекомендує ШІ-асистент вашу компанію. Це покаже Quick-Check від SpotLens; про те, як мають бути зроблені матеріали, щоб ШІ-пошук їх цитував, читайте в AI-SEO. За бажанням ми налаштуємо ці файли для вас.
11 / ДОСЛІДЖЕННЯ ТА ДЖЕРЕЛА
На що спирається інструмент
Наведені вище орієнтовні значення й поради ґрунтуються на цих 15 наукових працях. Кожну перевірено за DOI або на сторінці видавця (востаннє 14 листопада 2026 р.): вона існує, її не відкликано, і її висновок досі стосується цього питання.
Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Матеріали 16-ї Міжнародної конференції World Wide Web (WWW 2007), с. 1123–1124
Висновок П’ять досліджень 7 593 сайтів показують, що robots.txt використовують дедалі частіше. Файл не є засобом примусу, а лише правилом, якого дотримуються порядні краулери.
В інструменті Формує головний принцип сторінки: robots.txt — це прохання до краулерів, а не замок.
doi.org/10.1145/1242572.1242726 · Доповідь на конференції
Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Матеріали 19-ї Міжнародної конференції World Wide Web (WWW 2010), с. 1101–1102
Висновок Більшість комерційних краулерів дотримувалися правил, але багато з них раз у раз порушували або неправильно розуміли певні правила robots.txt.
В інструменті Тому генератор створює кожну групу окремо й лише з Allow та Disallow без шаблонів.
doi.org/10.1145/1772690.1772824 · Доповідь на конференції
Kim, T.; Bock, K.; Luo, C. та ін. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Матеріали конференції ACM Internet Measurement Conference 2025 (IMC 2025), с. 541–557
Результат У контрольованих експериментах зі 130 названими ботами протягом 40 днів боти рідше дотримувалися суворіших правил; пошукові ШІ-краулери часто взагалі не запитували robots.txt.
В інструменті Обґрунтовує межу «читає правила, але не вимірює поведінку» та примітку про заблоковані запити користувачів.
doi.org/10.1145/3730567.3764471 · Доповідь на конференції
Liu, E.; Luo, E.; Shan, S. та ін. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), с. 78–99
Результат Вимірювання й опитування 203 митців показують велику потребу в robots.txt, але й перешкоди через брак знань та доступу до власного сайту. Блокування на reverse proxy захищало ефективніше, проте воно мало поширене.
В інструменті Звідси рекомендація залучити хостера або proxy для жорсткого блокування та генератор, для якого не потрібні спеціальні знання.
doi.org/10.1145/3730567.3732913 · Доповідь на конференції
Seiden, S.; Ren, T.; Zhang, C. та ін. (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026), с. 6998–7012
Результат За допомогою спеціально підготовлених сайтів і 22 ШІ-систем вдалося визначити, який запитувач постачає дані якій моделі, зокрема кілька тих, яких їхні оператори не розкривають.
В інструменті Підтверджує обмеження: таблиця знає лише краулерів, яких їхній оператор документує під власною назвою.
doi.org/10.1145/3830454.3846799 · Доповідь на конференції
Longpre, S.; Mahari, R.; Lee, A. та ін. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), с. 108042–108087
Результат Перевірка 14 000 доменів у навчальних даних ШІ за рік виявила значне зростання блокувань, великі відмінності між постачальниками ШІ та часті суперечності між умовами використання і robots.txt.
В інструменті Тому перевірка показує кожного краулера окремо, а не лише «ШІ дозволено» чи «ШІ заблоковано».
doi.org/10.52202/079017-3431 · Доповідь на конференції
Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024), с. 2199–2208
Результат Common Crawl — найбільша вільно доступна колекція вебданих і одне з найважливіших джерел для попереднього навчання великих мовних моделей, часто з великою часткою навчального матеріалу.
В інструменті Тому CCBot зазначено в розділі навчання, а перевірка попереджає, якщо окремі навчальні краулери заблоковано, але CCBot — ні.
doi.org/10.1145/3630106.3659033 · Доповідь на конференції
Dodge, J.; Sap, M.; Marasović, A. та ін. (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), с. 1286–1305
Результат Навчальний корпус C4 створено з одного знімка Common Crawl; він містить тексти з неочікуваних джерел, як-от патентні документи та військові сайти.
В інструменті Підтверджує в тексті, що навчальні корпуси створюють із фіксованих знімків: те, що одного разу туди потрапило, пізніша заборона вже не охопить.
doi.org/10.18653/v1/2021.emnlp-main.98 · Доповідь на конференції
Aggarwal, P.; Murahari, V.; Rajpurohit, T. та ін. (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), с. 5–16
Результат Вміст можна підготувати так, щоб пошукові ШІ-системи цитували його до 40 відсотків помітніше; що саме діє, залежить від галузі.
В інструменті Підтверджує розмежування: доступ — це передумова, а чи буде вміст процитовано, вирішує його зміст. Для цього сторінка посилається на AI-SEO.
doi.org/10.1145/3637528.3671900 · Доповідь на конференції
Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, с. 7001–7025
Результат У чотирьох пошукових ШІ-системах у середньому лише трохи більше половини речень було повністю підтверджено джерелами, а близько чверті посилань на джерела не підтверджували речення.
В інструменті Підтверджує обмеження: вільний доступ не гарантує правильного цитування. Перевірка перевіряє читання, а не відповідь.
doi.org/10.18653/v1/2023.findings-emnlp.467 · Доповідь на конференції
Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026), с. 529–546
Результат У 55 393 пошукових запитах ШІ-огляд з’являвся у 13,7 відсотка випадків, а для запитань — у 64,7 відсотка. Майже 30 відсотків цитованих доменів не було серед результатів першої сторінки.
В інструменті Пояснює, чому Googlebot є в перевірці: ШІ-огляди обирають джерела з індексу, але не лише з перших результатів.
doi.org/10.1145/3777912.3839818 · Доповідь на конференції
Grossman, R.; Liu, S.; Chen, M. K. та ін. (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), с. 448–459
Результат У 11 500 пошукових запитах джерела Google Search, ШІ-огляду та Gemini істотно відрізнялися. Сайти, що блокують ШІ-краулерів Google, рідше використовувалися як джерело в ШІ-оглядах.
В інструменті Примітка про заблокований Google-Extended зіставляє цей результат із заявою Google, що перемикач не впливає на пошук.
doi.org/10.1145/3805712.3809667 · Доповідь на конференції
Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, с. 29–41
Результат Вимірювання приблизно 4 мільйонів доменів показує: robots.txt залишається найважливішим засобом; спеціальні для ШІ файли на кшталт ai.txt і llms.txt трапляються насамперед у технологічних компаній. Деякі посилання у llms.txt ведуть на сторінки, які robots.txt блокує.
В інструменті Звідси перевірка, чи ведуть посилання з llms.txt на заблоковані сторінки.
doi.org/10.1145/3831956.3831960 · Фаховий журнал
Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, Artikel 106176
Результат За генеративного ШІ ігнорування robots.txt має серйозніші наслідки. Для країн загального права ця праця обґрунтовує, що файл за певних умов може діяти як односторонній договір або попередження з наслідками для відповідальності.
В інструменті Підтримує примітку, що robots.txt — це більше ніж техніка, із застереженням, що правову ситуацію в Німеччині потрібно перевіряти окремо.
doi.org/10.1016/j.clsr.2025.106176 · Фаховий журнал
Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, с. 197–214
Результат Близько 1,68 відсотка сайтів в одному знімку Common Crawl прямо відхиляли краулера, часто через великих хостерів і конструктори сайтів — від блокування до сторінки перевірки.
В інструменті Звідси примітка, якщо головна сторінка відповідає сторінкою перевірки: захист від ботів блокує незалежно від robots.txt.
doi.org/10.1007/978-3-031-85960-1_9 · Доповідь на конференції
Стандарти, органи влади та дані виробників
- RFC 9309: Robots Exclusion Protocol · IETF, вересень 2022
- Як Google тлумачить специфікацію robots.txt (коди стану, 500 KiB, кешування) · Google Search Central
- Огляд краулерів OpenAI · OpenAI
- Чи збирає Anthropic дані з вебу та як власники сайтів можуть заблокувати краулер? · Anthropic
- Поширені краулери Google (Google-Extended) · Google Search Central
- Запитувачі Google, запущені користувачем (Google-Agent) · Google Search Central
- ШІ-функції та ваш сайт · Google Search Central
- Краулери Perplexity · Perplexity
- Про Applebot · Apple, станом на 4 вересня 2026 р.
- Вебкраулери Meta · Meta
- Amazonbot, Amzn-SearchBot, Amzn-User · Amazon, станом на 26 жовтня 2026 р.
- Ваш вміст, ваш вибір: чіткіші налаштування для навчання та формування відповідей · Microsoft Bing, 30 жовтня 2026 р.
- Краулери Mistral AI · Mistral AI
- DuckAssistBot · DuckDuckGo
- YouBot · You.com
- CCBot · Common Crawl
- Вебкраулери Cohere (наразі без краулера) · Cohere
- draft-kelley-aipref-training-preference-signal-00 · проєкт IETF, 30 жовтня 2026 р.
- Новий спосіб керувати навчанням ШІ (сигнал навчання) · блог Google Search Central, 30 жовтня 2026 р.
- Як спростити сайтам зазначення налаштувань навчання ШІ · OpenAI, 30 жовтня 2026 р.
- Файл /llms.txt · llmstxt.org, пропозиція від 3 вересня 2024 р.
- § 44b UrhG: аналіз текстів і даних · gesetze-im-internet.de
12 / ІНШІ ІНСТРУМЕНТИ
Залишилося запитання?
- AT-W2 · Для дому та бізнесу
Перевірка Windows 10
Чи отримує цей комп’ютер оновлення безпеки, і що потрібно зробити до жовтня 2027 року? - AT-W3 · Для дому та бізнесу
Планувальник Wi-Fi
Скільки точок доступу чи Mesh-вузлів потрібно для вашого будинку, офісу чи цеху? - AT-W4 · Для бізнесу
Перевірка готовності до IT-аварії
Як швидко ваша фірма знову зможе працювати після збою? - AT-W5 · Для бізнесу
Перевірка e-mail
Ваші листи потрапляють у спам? SPF, DKIM і DMARC вашого домену зрозумілою мовою. - AT-W6 · Для бізнесу
Калькулятор ДБЖ
Яке ДБЖ (USV) втримає сервер, роутер і касу в роботі достатньо довго, якщо зникне світло? - AT-W8 · Для бізнесу
Переглядач XRechnung
Отримали XRechnung як XML-файл? Тут його можна прочитати, і файл не залишає вашого комп’ютера.
Надішліть нам скопійований результат. Ми налаштуємо robots.txt, llms.txt і структуровані дані так, щоб ШІ-пошук читав ваші сторінки, а навчання відбувалося лише там, де ви цього хочете, у Родевіші та по всьому Фогтланді.
+49 3744 4399760[email protected]Пн–Пт 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch