Інструмент AT-W29REV. 2026-A

Перевірка ШІ-краулерів: чи можуть ChatGPT, Claude та Perplexity читати ваш сайт?

Чи може ШІ-асистент читати ваш сайт, визначає robots.txt: для кожного краулера — окрема група, інакше діє спільне правило „User-agent: *". Важлива мета. GPTBot і ClaudeBot збирають дані для навчання, OAI-SearchBot і Claude-SearchBot — для ШІ-пошуку, а ChatGPT-User завантажує сторінку, коли хтось питає про неї в чаті. Перевірка читає ваші правила для 27 краулерів, перевіряє llms.txt і створює відповідний блок.

  • безкоштовно
  • без реєстрації
  • 5 хвилин у кеші

Введіть домен і перегляньте доступ для кожного краулера

Запит · robots.txt, llms.txt і головна сторінка

Перевірка читає правила такими, якими вони сьогодні є на сервері, і оцінює їх за RFC 9309. Чи дотримується їх краулер, вирішує його оператор.

Наприклад, ihre-firma.de. Якщо головна сторінка переспрямовує на www., перевірка відбудеться там.

Без указання — головна сторінка. З /blog або /leistungen ви побачите, чи відкритий саме цей розділ.

Домен надсилається на наш сервер, який завантажує robots.txt, llms.txt і початок головної сторінки. Домен і результат не записуються в журнал. Для повторних перевірок вони зберігаються в оперативній пам’яті до п’яти хвилин.

Без запиту: вставте текст robots.txt

Наприклад, для файлу, якого ще немає онлайн. Текст лишається в браузері; застосовується шлях, указаний вище.

Результат

Уведіть домен вище. Запит триватиме кілька секунд.

Які бувають ШІ-краулери та для чого вони читають

Великі оператори надсилають не один краулер, а кілька — залежно від мети. Це головне під час налаштування: хто блокує „ШІ", зазвичай також зникає з ШІ-пошуку й більше не зазначається там як джерело. Від 2023 року сайти дедалі частіше блокують ШІ-операторів, і дуже по-різному; дослідники часто знаходили суперечності між умовами використання та robots.txt Longpre та ін. 2024. Тому перевірка показує кожен краулер окремо.

НАВЧАННЯ, НАПР. GPTBOT, CLAUDEBOT, CCBOTВАШ САЙТROBOTS.TXTКРАУЛЕР ЗБИРАЄМАЙБУТНЯМОДЕЛЬШІ-ПОШУК, НАПР. OAI-SEARCHBOT, PERPLEXITYBOTВАШ САЙТROBOTS.TXTПОШУКОВИЙ ІНДЕКСВІДПОВІДЬ ЗДЖЕРЕЛОЗАПИТ КОРИСТУВАЧА, НАПР. CHATGPT-USERЗАПИТАННЯ В ЧАТІЗАВАНТАЖЕННЯ СТОРІНКИВАШ САЙТНАВЧАННЯ, НАПР. GPTBOT,CLAUDEBOT, CCBOTВАШ САЙТROBOTS.TXTКРАУЛЕР ЗБИРАЄМАЙБУТНЯ МОДЕЛЬШІ-ПОШУК, НАПР. OAI-SEARCHBOT,PERPLEXITYBOTВАШ САЙТROBOTS.TXTПОШУКОВИЙ ІНДЕКСВІДПОВІДЬ ІЗ ДЖЕРЕЛОМЗАПИТ КОРИСТУВАЧА, НАПР. CHATGPT-USERЗАПИТАННЯ В ЧАТІЗАВАНТАЖЕННЯ СТОРІНКИВАШ САЙТ
РИС. 1 · ТРИ ШЛЯХИ, ЯКИМИ ШІ ЧИТАЄ ВАШ САЙТЗОЛОТЕ = ВАШЕ ПРАВИЛО В ROBOTS.TXT · ПУНКТИР = ПРАВИЛО ДІЄ НЕ ЗАВЖДИ
Чотири типи за даними операторів
ВидЗаписиЩо вони роблять
ШІ-пошук11Створює індекс, з якого ШІ-асистент або пошукова система бере відповіді з джерелами. Якщо заблокувати, сторінка там рідше або зовсім не з’являється як джерело.
Навчання6Збирає вміст, на якому навчаються мовні моделі. Заборона діє на майбутні цикли навчання, а не на вже навчені моделі.
Перемикач для навчання2Не окремий краулер. Правило повідомляє оператору, чи можна використати для навчання вже зібрані дані.
Запит користувача7Завантажує окрему сторінку, бо людина саме про неї запитує. Кілька операторів пишуть, що robots.txt для цього не діє або діє не завжди.

Два записи заслуговують на окрему увагу. Common Crawl сам не навчає модель, але створює найбільший у вільному доступі архів вебу, який є одним із найважливіших джерел попереднього навчання великих мовних моделей Baack 2024. Наприклад, відомий навчальний корпус C4 створили з одного такого зрізу Dodge та ін. 2021. Тому той, хто не хоче навчання, блокує й CCBot; але жодне правило не поверне те, що вже потрапило до зрізу. Другий — Googlebot: він у списку, бо ШІ-огляди та ШІ-режим пошуку Google спираються на його індекс. Його не блокує ніхто, хто хоче, щоб його знаходили в Google.

Усі 27 врахованих краулерів

Список краулерів, перевірено 14 листопада 2026 року за документацією відповідного оператора
Назва в robots.txtОператорПризначенняrobots.txt дієЩо пише оператор
OAI-SearchBotOpenAIШІ-пошуктак, за даними оператораЗабезпечує пошук у ChatGPT. Той, хто його блокує, не з’являється там як джерело у відповідях.
Claude-SearchBotAnthropicШІ-пошуктак, за даними оператораПрацює для пошуку в Claude. Якщо заблоковано, сторінка там рідше з’являється в результатах.
GooglebotGoogleШІ-пошуктак, за даними оператораКраулер пошуку Google. ШІ-огляди й ШІ-режим також використовують цей індекс; керування там відбувається через nosnippet, max-snippet і noindex.
PerplexityBotPerplexityШІ-пошуктак, за даними оператораСтворює індекс, із якого Perplexity посилається на джерела. За даними оператора, не для навчання моделей.
ApplebotAppleШІ-пошуктак, за даними оператораКраулер для пошуку в Siri, Spotlight і Safari. За даними Apple, ці дані також можуть використовуватися для навчання моделей Apple; для цього існує Applebot-Extended.
meta-webindexerMetaШІ-пошуктак, за даними оператораІндексує для пошуку в Meta AI, щоб Meta могла цитувати та посилатися на вміст.
Amzn-SearchBotAmazonШІ-пошуктак, за даними оператораДля функцій пошуку в продуктах Amazon, як-от Alexa; за даними Amazon, не для навчання.
bingbotMicrosoftШІ-пошуктак, за даними оператораКраулер Bing. Microsoft не називає окремого ШІ-ідентифікатора; з лютого 2027 року вказівки для навчання та ШІ-відповідей стосуються Bingbot.
MistralAI-IndexMistralШІ-пошуктак, за даними оператораСканує лише для пошукового індексу, за даними Mistral — не для навчання.
DuckAssistBotDuckDuckGoШІ-пошуктак, за даними оператораЗавантажує сторінки в реальному часі для ШІ-відповідей DuckDuckGo із зазначенням джерел. За даними оператора, не для навчання.
YouBotYou.comШІ-пошуктак, за даними оператораКраулер пошукової системи You.com. Дотримується robots.txt, зокрема Crawl-delay.
GPTBotOpenAIНавчаннятак, за даними оператораЗбирає вміст, який може потрапити до навчання моделей OpenAI. За даними OpenAI, блокування означає: не використовувати для навчання.
ClaudeBotAnthropicНавчаннятак, за даними оператораЗбирає вміст, який може потрапити до навчання моделей Anthropic. Anthropic дотримується robots.txt і Crawl-delay.
meta-externalagentMetaНавчаннятак, за даними оператораЗбирає дані для навчання ШІ-моделей і продуктів Meta.
AmazonbotAmazonНавчаннятак, за даними оператораПокращує продукти Amazon; це може включати навчання ШІ-моделей Amazon. Crawl-delay не враховує.
MistralAI-TrainingMistralНавчаннятак, за даними оператораЗбирає вміст для навчальних даних моделей Mistral.
CCBotCommon CrawlНавчаннятак, за даними оператораСтворює відкритий архів вебу. Common Crawl сам нічого не навчає, але архів є одним із найважливіших джерел навчальних даних.
Google-ExtendedGoogleПеремикач для навчаннятак, за даними оператораНе окремий краулер, а перемикач: чи можуть дані, отримані Google, використовуватися для навчання майбутніх моделей Gemini та обґрунтування відповідей Gemini? За даними Google, на пошук Google він не впливає.
Applebot-ExtendedAppleПеремикач для навчаннятак, за даними оператораНе окремий краулер. Якщо заблоковано, Apple не використовує вміст для навчання своїх моделей; у пошуку сторінка лишається.
ChatGPT-UserOpenAIЗапит користувачане завждиЗавантажує сторінку, коли хтось питає про неї в ChatGPT. За даними OpenAI, правила robots.txt можуть для цього не діяти.
Claude-UserAnthropicЗапит користувачатак, за даними оператораЗавантажує сторінки, коли користувачі ставлять запитання в Claude. Anthropic пише, що її боти дотримуються robots.txt.
Google-AgentGoogleЗапит користувачане завждиПереглядає сайти від імені користувача та виконує дії. За даними Google, запити користувачів зазвичай обходять robots.txt.
Perplexity-UserPerplexityЗапит користувачане завждиЗавантажує сторінки, коли користувач ставить запитання. За даними Perplexity, зазвичай ігнорує robots.txt.
meta-externalfetcherMetaЗапит користувачане завждиЗавантажує окремі посилання на запит користувача, також для ШІ-агентів. За даними Meta, може обходити robots.txt.
Amzn-UserAmazonЗапит користувачане завждиЗавантажує актуальні дані для запитання користувача, наприклад для Alexa. За даними Amazon, не дотримується всіх правил robots.txt.
MistralAI-UserMistralЗапит користувачатак, за даними оператораЗавантажує сторінку, коли користувач ставить запитання, і посилається на неї як на джерело. За даними Mistral, група robots.txt визначає, які сторінки для цього доступні.
BytespiderByteDanceнеясноне підтвердженоДокументації оператора не знайдено. Призначення та поводження з robots.txt не підтверджені.

Не включено: назви з каталогів ботів, яких сам оператор не називає (наприклад, anthropic-ai або cohere-ai). За власною документацією Cohere наразі не має краулера; Microsoft не називає окремого ШІ-ідентифікатора, її вказівки для ШІ стосуються bingbot. Станом на 14 листопада 2026 року.

Заблокувати навчання, дозволити ШІ-пошук: відповідний блок

Більшість компаній хочуть одного: з’являтися як джерело у відповідях ChatGPT, Claude або Perplexity, але не надавати без запиту матеріал для навчання. Генератор уже налаштований для цього. Він створює кожну групу окремо й використовує лише Allow та Disallow без шаблонів, адже навіть комерційні краулери раз у раз неправильно розуміють певні правила Giles та ін. 2010. Вставте блок у свій наявний robots.txt; група „User-agent: *" лишається без змін.

Генератор · блок robots.txt

Чи можуть ШІ-оператори використовувати ваш вміст для навчання?

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, MistralAI-Training, CCBot, Bytespider

Чи можуть ШІ-пошукові служби читати ваші сторінки та називати їх джерелом?

OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer, Amzn-SearchBot, MistralAI-Index, DuckAssistBot, YouBot

Чи можуть асистенти завантажувати сторінку, коли хтось про неї питає?

ChatGPT-User, Claude-User, Google-Agent, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User

Те, що у вашому robots.txt заблоковано в „User-agent: *", треба вказати тут. Названі краулери не успадковують цього.

# KI-Crawler, erstellt mit dem KI-Crawler-Check von aureum-tech.com (Crawler-Liste Stand 14. November 2026)
# Training: gesperrt · KI-Suche: erlaubt · Nutzerabrufe: erlaubt
# Jeder Crawler befolgt nur die Gruppe mit seinem Namen. Was für alle gesperrt sein soll, steht deshalb in jeder Gruppe.

# Training (Schalter wie Google-Extended crawlen nicht selbst, sie regeln nur die Nutzung)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: MistralAI-Training
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

# KI-Suche: liefert Antworten mit Quellenangabe
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: meta-webindexer
Allow: /

User-agent: Amzn-SearchBot
Allow: /

User-agent: MistralAI-Index
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: YouBot
Allow: /

# Nutzerabrufe: laut mehreren Betreibern nicht immer an robots.txt gebunden
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Google-Agent
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: meta-externalfetcher
Allow: /

User-agent: Amzn-User
Allow: /

User-agent: MistralAI-User
Allow: /

# Gemeinsames Trainingssignal (IETF-Entwurf vom 30.10.2026, mehrere Anbieter haben es angekündigt)
User-agent: __usage_ai-training
Disallow: /

Генератор працює в браузері й нічого не надсилає.

Генератор · каркас llms.txt

Лише сторінки, які ваш robots.txt дозволяє для ШІ-пошуку. Каркас відповідає пропозиції на llmstxt.org.

# Name Ihrer Firma

> Ein Satz: Wer Sie sind, was Sie anbieten und wo.

## Wichtige Seiten

- [Leistungen](https://ihre-firma.de/leistungen): Was Sie anbieten
- [Kontakt](https://ihre-firma.de/kontakt): Telefon, Adresse, Öffnungszeiten

## Optional

- [Impressum](https://ihre-firma.de/impressum)

Працює в браузері. Файл має бути як llms.txt у головному каталозі сайту.

Найпоширеніша пастка: групи нічого не успадковують

Краулер дотримується саме групи зі своєю назвою. Якщо вона існує, спільне правило для нього більше не діє, навіть частково. У прикладі праворуч „User-agent: *" блокує розділ /intern/, але GPTBot має власну групу з „Allow: /".

Результат для /intern/preise: ClaudeBot заблокований (рядок 2: Disallow: /intern/ (група *)), а GPTBot може читати (рядок 5: Allow: / (група GPTBot)). Тому те, що має бути заблоковане для всіх, треба включати до кожної названої групи. У генераторі введіть такі розділи один раз — він повторить їх усюди.

User-agent: *
Disallow: /intern/

User-agent: GPTBot
Allow: /

Спільний сигнал для навчання

Від 30 жовтня 2026 року в IETF є проєкт, який має скоротити окремі блокування: група „User-agent: __usage_ai-training" з „Disallow: /" одразу повідомляє всім операторам-учасникам, що ви не бажаєте навчання. Шляхи працюють, як і зазвичай, „Allow: /presse/" виключає пресматеріали. Група не є командою для сканування, а спільне правило „User-agent: *" для цього прямо не враховується. Оскільки проєкт новий і його ще читають не всі оператори, генератор створює обидва варіанти: окремі групи та сигнал.

Хто враховує сигнал для навчання, за власними даними
ПровайдерВідколи
Anthropicз 30 жовтня 2026 року; названа група ClaudeBot має пріоритет
Microsoft (Bing)з 1 лютого 2027 року
Googleзаплановано на 2027 рік; без окремої групи Google-Extended Google оцінює відмову як заблокований Google-Extended
OpenAI„найближчими місяцями"; правила GPTBot лишаються

Джерело: draft-kelley-aipref-training-preference-signal-00, не має статусу стандарту, спливає 3 травня 2027 року. Станом на 14 листопада 2026 року.

Як краулер читає ваш robots.txt

Від вересня 2022 року цей порядок закріплено в RFC 9309, і за ним працює перевірка. Файл завжди лежить у /robots.txt головного каталогу та діє лише для конкретного хоста: якщо ihre-firma.de переспрямовує на www.ihre-firma.de, враховується файл на www. Краулер шукає групу зі своєю назвою, без урахування регістру; якщо її немає, бере „User-agent: *", а якщо немає й її — може все. Усередині групи перемагає найдовше відповідне правило, а за рівності — Allow. Зірочка означає будь-які символи, а долар наприкінці — кінець адреси.

Ще у 2007 році дослідження 7 593 сайтів показало, що файл використовують дедалі частіше, а також підтвердило його сутність: це правило, якого дотримуються порядні краулери, а не засіб примусу Sun та ін. 2007. Відтоді нічого не змінилося.

Що означає код стану robots.txt
ВідповідьRFC 9309Google
200, текстовий файлПравила діють, читається щонайменше 500 KiBтак само, усе після 500 KiB ігнорується
200, але вебсторінканемає дійсного рядка, отже, немає правилатак само
404 та інші 4xxнемає robots.txt, усе дозволеноусе дозволено, крім 429
429 забагато запитівяк 4xxяк помилка сервера
5xx або недоступноусе заблоковано12 годин без сканування, потім до 30 днів — остання добра версія
Переспрямуванняслідувати щонайменше п’ятьомщонайменше п’ять, далі як 404

Google зазвичай зберігає файл до 24 годин, Amazon — до 30 днів. Тому зміни не діють одразу. Наш запит переходить не більш як за трьома переспрямуваннями. Станом на 14 листопада 2026 року.

Вказівки на самих сторінках

Окрім robots.txt, є вказівки для кожної сторінки: метатег у розділі head або X-Robots-Tag у відповіді сервера. Перевірка читає їх на головній сторінці. Для ШІ особливо важливі такі: noindex прибирає сторінку з пошукового індексу, а отже й зі ШІ-оглядів; nosnippet забороняє Google текстовий уривок, також у ШІ-оглядах і ШІ-режимі. Amazon читає noarchive як „не для навчання". Microsoft із 1 лютого 2027 року вводить власні вказівки для навчання й обґрунтування (ai-training, ai-grounding), а з березня 2027 року більше не читає noarchive і nocache як ШІ-вказівки. Вказівки на кшталт „noai" поширені, але жоден оператор із нашого списку їх не документує.

Чого robots.txt не робить

  • Це прохання. У дослідах зі 130 названими ботами протягом 40 днів боти рідше дотримувалися суворих правил, а ШІ-пошукові краулери часто навіть не запитували файл Kim та ін. 2025.
  • Вона діє лише за назвою. Спеціально підготовлені сайти дали змогу довести, який запитувач постачає дані якій ШІ-системі, зокрема кільком, яких оператор не розкриває Seiden та ін. 2026. Той, хто приходить під чужою назвою, не потрапляє під жодне правило.
  • Запити користувачів частково обходять правила. OpenAI, Perplexity, Meta, Amazon і Google самі пишуть, що їхні запити на прохання користувача не завжди дотримуються robots.txt. Anthropic і Mistral також називають файл засобом керування для цього.
  • Жорсткі блокування роблять на сервері. Художникам часто бракувало знань або доступу до власного сайту для robots.txt; ефективнішими виявилися блокування на reverse proxy Liu та ін. 2025. І навпаки, деякі хостери й конструктори сайтів блокують краулери без відома власника: в одному зрізі Common Crawl близько 1,68 відсотка сайтів прямо відхиляли краулер Ansar та ін. 2025. Якщо головна сторінка відповість на наш запит сторінкою перевірки, перевірка повідомить про це.
  • Наш запит — не ШІ-краулер. Сервер робить запит із власним ідентифікатором. Якщо фаєрвол блокує краулерів за назвою, наприклад через налаштування Cloudflare, перевірка цього не побачить.

А з погляду права?

Згідно з § 44b Abs. 3 UrhG, аналіз текстів і даних щодо вільно доступних творів дозволено, доки правовласник не застеріг право на це за собою, а для матеріалів у мережі враховується лише застереження в машиночитаній формі. robots.txt є машиночитаним, але остаточно не з’ясовано, чи достатньо його як такого застереження. Правнича праця обґрунтовує, що в країнах загального права обхід файлу за певних обставин може спричинити відповідальність Chang und He 2025; для Німеччини це треба перевіряти окремо. Тому, якщо ви хочете заявити застереження, додатково вкажіть його в імпресумі або в умовах використання. Це не юридична консультація.

llms.txt: що файл може і чого не може

Jeremy Howard запропонував llms.txt 3 вересня 2024 року; опис є на llmstxt.org. Це Markdown-файл у /llms.txt: заголовок із назвою — єдина обов’язкова частина, потім короткий опис як цитата, за бажанням кілька речень і розділи зі списками посилань на найважливіші сторінки. Розділ „Optional" містить те, що асистент може пропустити.

Вимірювання приблизно 4 мільйонів доменів виявило файл передусім у технологічних компаній, а деякі його посилання вели на сторінки, заблоковані власним robots.txt Hoffmann та ін. 2026. Саме це перевіряє інструмент. Дороговказ на заблоковані сторінки веде в нікуди.

Відверто кажучи: Google пише у своїй документації щодо ШІ-оглядів, що для них не потрібно створювати нові машиночитані файли, і жоден із врахованих тут операторів не зазначає в документації краулерів, що читає llms.txt чужих сайтів. Отже, це не важіль видимості. Утім, вона корисна як короткий, чіткий опис себе, який асистент може прочитати під час запиту користувача, і тому, що її можна зробити за десять хвилин.

Наш власний файл лежить за адресою aureum-tech.com/llms.txt. Каркас для вашого створює генератор вище.

Можна читати — ще не означає, що вас згадають

Перевірка відповідає на попереднє запитання. Чи назве ChatGPT вашу компанію, коли хтось шукає електрика в Плауені, залежить від вмісту ваших сторінок і від того, що про вас пишуть інші. В експериментах видимість джерел у ШІ-відповідях вдавалося підвищити до 40 відсотків завдяки опрацюванню вмісту, причому засоби відрізнялися залежно від галузі Aggarwal та ін. 2024. У вимірюванні з 55 393 пошуковими запитами ШІ-огляд Google з’являвся у 13,7 відсотка випадків, для запитань — у 64,7 відсотка, а майже 30 відсотків процитованих там доменів не було серед результатів першої сторінки Xu та ін. 2026.

Згадка також не означає правильного цитування. У чотирьох ШІ-пошуковиках у середньому лише трохи більше половини речень були підтверджені вказаними джерелами Liu та ін. 2023. А той, хто блокує ШІ-краулер Google, рідше використовується як джерело в ШІ-оглядах, хоча Google пише, що перемикач не впливає на пошук Grossman та ін. 2026.

Наскільки ваша компанія справді видима в ChatGPT, Perplexity та ШІ Google, покаже Quick-Check від SpotLens. Про те, як ми створюємо вміст і структуровані дані так, щоб ШІ-пошук їх цитував, читайте в AI-SEO. Якщо ви хочете спочатку перевірити самі, у посібнику є матеріали про те, як перевірити видимість у ChatGPT та що означає ШІ-видимість для компаній. Окремі правила можна перевірити в тестері robots.txt, а інші інструменти для пошукової видимості є в розділі SEO та видимість.

Що про це кажуть дослідження

Оцінка в перевірці спирається на 15 рецензованих робіт. Найважливіші висновки та повний список із позначкою про перевірку наведено нижче.

  • Блокувань стає більше, і вони нерівномірні. За один рік було заблоковано значні частини джерел даних для ШІ-навчання, по-різному залежно від оператора Longpre та ін. 2024. Тому перевірка показує кожен краулер окремо.
  • Правил дотримуються вибірково. Що суворіше правило, то рідше боти його виконували Kim та ін. 2025. Тому перевірка не вимірює того, чого не може виміряти, і прямо про це каже.
  • Навчання відбувається через архіви. Common Crawl — одне з найважливіших джерел попереднього навчання Baack 2024, а такі корпуси, як C4, виникають з окремих зрізів Dodge та ін. 2021. Тому перевірка попереджає, якщо CCBot лишається відкритим.
  • ШІ-огляди вибирають власні джерела. Багато процитованих доменів немає на першій сторінці Xu та ін. 2026, а заблоковані ШІ-краулери пов’язані з рідшими згадками Grossman та ін. 2026.
  • llms.txt новий і часто суперечливий. Посилання у файлі частково ведуть на заблоковані сторінки Hoffmann та ін. 2026; перевірка перевіряє кожне власне посилання.

Як користуватися цим інструментом через ШІ-асистента

Асистенти на кшталт Claude чи ChatGPT, які підтримують Model Context Protocol (MCP), можуть викликати розрахунок цієї сторінки напряму, а не відтворювати його. Сервер публічний, не потребує реєстрації та нічого не зберігає. Відповідь завжди містить посилання на цю сторінку, дату даних і межі результату.

Кінцева точка
https://aureum-tech.com/mcp
Інструмент
werkzeug_ki_crawler_check
Транспорт
Streamable HTTP, лише читання
Вхідні дані
НазваОбов’язковоЗначення
domainніДомен сайту, наприклад ihre-firma.de або https://www.ihre-firma.de. Шлях ігнорується, robots.txt завжди лежить у кореневому каталозі. Лише публічні сайти, порт 80 або 443.
robots_txtніЗамість домену: текст robots.txt, який оцінюється без запиту. Не вказуйте разом із domain.
pfadніШлях для перевірки, наприклад /blog/artikel. Без указання — головна сторінка „/".

Запитання, на які асистентові варто його викликати

  • „Чи може ChatGPT читати мій сайт handwerk-muster.de?"
  • „Чи наш robots.txt випадково блокує ШІ-пошук Perplexity та ChatGPT?"
  • „Як заборонити ШІ-навчання, але лишитися видимими в пошуку ChatGPT і Claude?"
  • „Чи має www.beispiel-praxis.de llms.txt і чи ведуть її посилання на заблоковані сторінки?"

Як працює підключення і що MCP може дати вашій фірмі, описано на сторінці про MCP-інтеграції.

Часті запитання про ШІ-краулери, robots.txt і llms.txt

Як заборонити ШІ-навчання, але не зникнути з пошуку ChatGPT?

OpenAI розділяє це: GPTBot збирає дані для навчання, OAI-SearchBot — для пошуку в ChatGPT, і кожне налаштування діє окремо. Тож у robots.txt для GPTBot має бути „Disallow: /", а для OAI-SearchBot — „Allow: /". Те саме в Anthropic для ClaudeBot і Claude-SearchBot, а в Google заблокуйте Google-Extended і не чіпайте Googlebot. Генератор на цій сторінці створить повний блок для всіх врахованих операторів.

У чому різниця між GPTBot, OAI-SearchBot і ChatGPT-User?

GPTBot збирає вміст, який може потрапити в навчання майбутніх моделей. OAI-SearchBot створює індекс, з якого ChatGPT називає джерела під час пошуку; за даними OpenAI, якщо його заблокувати, сайт не з’являтиметься там у відповідях. ChatGPT-User завантажує окрему сторінку, коли хтось саме про неї запитує в чаті. За даними OpenAI, правила robots.txt можуть не поширюватися на такий запит.

Чи зникне мій сайт із Google, якщо заблокувати Google-Extended?

Ні. Google-Extended — не окремий краулер, а перемикач, який визначає, чи можна використовувати зібрані Google дані для навчання Gemini та обґрунтування відповідей Gemini. За даними Google, він не впливає ані на потрапляння до пошуку, ані на позиції. ШІ-огляди в пошуку Google залежать від Googlebot і правил сніпетів, як-от nosnippet. Вимірювання 2026 року, однак, виявило, що сторінки із заблокованим ШІ-краулером Google рідше ставали джерелами в ШІ-оглядах.

Чи потрібен мені llms.txt?

Вона не обов’язкова. llms.txt — це пропозиція Jeremy Howard від вересня 2024 року: Markdown-файл із заголовком, коротким описом і посиланнями на найважливіші сторінки. Google прямо пише, що для ШІ-оглядів не потрібні нові машиночитані файли, і жоден із врахованих тут операторів не зазначає у своїй документації краулерів, що читає її. Шкоди від неї немає, її можна швидко зробити; каркас надає генератор. Важливіше, щоб її посилання не вели на заблоковані сторінки.

Чи кожен краулер дотримується robots.txt?

Ні. robots.txt — це прохання, а не замок. Вимірювання показують, що боти рідше виконують суворі правила, а ШІ-пошукові краулери часто взагалі не запитують файл. Запити користувачів, як-от ChatGPT-User, Perplexity-User чи meta-externalfetcher, за даними їхніх операторів, частково обходять robots.txt, а той, хто збирає дані без імені, не потрапляє під жодне правило. Для справжнього блокування потрібна заборона на сервері або в хостера.

Чи діє блокування на моделі, які вже навчені?

Ні. OpenAI та Anthropic описують блокування як вказівку для майбутнього навчання. Навчальні дані виникають із фіксованих зрізів вебу, наприклад з архіву Common Crawl; те, що вже там є, там і лишається. Тому, якщо ви не хочете навчання, варто врахувати й CCBot.

Що означає „User-agent: __usage_ai-training"?

Це спільний сигнал для навчання за проєктом IETF від 30 жовтня 2026 року. Група з цією назвою та „Disallow: /" одразу повідомляє всім операторам-учасникам, що ви не бажаєте навчання. За власними даними, Anthropic уже враховує його, Microsoft — з 1 лютого 2027 року, Google планує це на 2027 рік, а OpenAI — найближчими місяцями. Це не команда для сканування, а група „User-agent: *" для цього прямо не враховується.

Де закінчуються можливості перевірки ШІ-краулерів?

Вона читає правила вашого robots.txt, llms.txt і вказівки Robots на головній сторінці та повідомляє для кожного краулера, що дозволено. Але вона не вимірює, чи дотримується краулер правил, і не перевіряє, чи знає та рекомендує ШІ-асистент вашу компанію. Це покаже Quick-Check від SpotLens; про те, як мають бути зроблені матеріали, щоб ШІ-пошук їх цитував, читайте в AI-SEO. За бажанням ми налаштуємо ці файли для вас.

На що спирається інструмент

Наведені вище орієнтовні значення й поради ґрунтуються на цих 15 наукових працях. Кожну перевірено за DOI або на сторінці видавця (востаннє 14 листопада 2026 р.): вона існує, її не відкликано, і її висновок досі стосується цього питання.

  1. Sun, Y.; Zhuang, Z.; Giles, C. L. (2007): A large-scale study of robots.txt. Матеріали 16-ї Міжнародної конференції World Wide Web (WWW 2007), с. 1123–1124

    Висновок П’ять досліджень 7 593 сайтів показують, що robots.txt використовують дедалі частіше. Файл не є засобом примусу, а лише правилом, якого дотримуються порядні краулери.

    В інструменті Формує головний принцип сторінки: robots.txt — це прохання до краулерів, а не замок.

  2. Giles, C. L.; Sun, Y.; Councill, I. G. (2010): Measuring the web crawler ethics. Матеріали 19-ї Міжнародної конференції World Wide Web (WWW 2010), с. 1101–1102

    Висновок Більшість комерційних краулерів дотримувалися правил, але багато з них раз у раз порушували або неправильно розуміли певні правила robots.txt.

    В інструменті Тому генератор створює кожну групу окремо й лише з Allow та Disallow без шаблонів.

  3. Kim, T.; Bock, K.; Luo, C. та ін. (2025): Scrapers Selectively Respect robots.txt Directives: Evidence From a Large-Scale Empirical Study. Матеріали конференції ACM Internet Measurement Conference 2025 (IMC 2025), с. 541–557

    Результат У контрольованих експериментах зі 130 названими ботами протягом 40 днів боти рідше дотримувалися суворіших правил; пошукові ШІ-краулери часто взагалі не запитували robots.txt.

    В інструменті Обґрунтовує межу «читає правила, але не вимірює поведінку» та примітку про заблоковані запити користувачів.

  4. Liu, E.; Luo, E.; Shan, S. та ін. (2025): Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Proceedings of the 2025 ACM Internet Measurement Conference (IMC 2025), с. 78–99

    Результат Вимірювання й опитування 203 митців показують велику потребу в robots.txt, але й перешкоди через брак знань та доступу до власного сайту. Блокування на reverse proxy захищало ефективніше, проте воно мало поширене.

    В інструменті Звідси рекомендація залучити хостера або proxy для жорсткого блокування та генератор, для якого не потрібні спеціальні знання.

  5. Seiden, S.; Ren, T.; Zhang, C. та ін. (2026): Identifying AI Web Scrapers Using Canary Tokens. Proceedings of the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS 2026), с. 6998–7012

    Результат За допомогою спеціально підготовлених сайтів і 22 ШІ-систем вдалося визначити, який запитувач постачає дані якій моделі, зокрема кілька тих, яких їхні оператори не розкривають.

    В інструменті Підтверджує обмеження: таблиця знає лише краулерів, яких їхній оператор документує під власною назвою.

  6. Longpre, S.; Mahari, R.; Lee, A. та ін. (2024): Consent in Crisis: The Rapid Decline of the AI Data Commons. Advances in Neural Information Processing Systems 37 (NeurIPS 2024), с. 108042–108087

    Результат Перевірка 14 000 доменів у навчальних даних ШІ за рік виявила значне зростання блокувань, великі відмінності між постачальниками ШІ та часті суперечності між умовами використання і robots.txt.

    В інструменті Тому перевірка показує кожного краулера окремо, а не лише «ШІ дозволено» чи «ШІ заблоковано».

  7. Baack, S. (2024): A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2024), с. 2199–2208

    Результат Common Crawl — найбільша вільно доступна колекція вебданих і одне з найважливіших джерел для попереднього навчання великих мовних моделей, часто з великою часткою навчального матеріалу.

    В інструменті Тому CCBot зазначено в розділі навчання, а перевірка попереджає, якщо окремі навчальні краулери заблоковано, але CCBot — ні.

  8. Dodge, J.; Sap, M.; Marasović, A. та ін. (2021): Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), с. 1286–1305

    Результат Навчальний корпус C4 створено з одного знімка Common Crawl; він містить тексти з неочікуваних джерел, як-от патентні документи та військові сайти.

    В інструменті Підтверджує в тексті, що навчальні корпуси створюють із фіксованих знімків: те, що одного разу туди потрапило, пізніша заборона вже не охопить.

  9. Aggarwal, P.; Murahari, V.; Rajpurohit, T. та ін. (2024): GEO: Generative Engine Optimization. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024), с. 5–16

    Результат Вміст можна підготувати так, щоб пошукові ШІ-системи цитували його до 40 відсотків помітніше; що саме діє, залежить від галузі.

    В інструменті Підтверджує розмежування: доступ — це передумова, а чи буде вміст процитовано, вирішує його зміст. Для цього сторінка посилається на AI-SEO.

  10. Liu, N.; Zhang, T.; Liang, P. (2023): Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023, с. 7001–7025

    Результат У чотирьох пошукових ШІ-системах у середньому лише трохи більше половини речень було повністю підтверджено джерелами, а близько чверті посилань на джерела не підтверджували речення.

    В інструменті Підтверджує обмеження: вільний доступ не гарантує правильного цитування. Перевірка перевіряє читання, а не відповідь.

  11. Xu, H.; Iqbal, U.; Montgomery, J. M. (2026): Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact. Proceedings of the 2026 ACM Internet Measurement Conference (IMC 2026), с. 529–546

    Результат У 55 393 пошукових запитах ШІ-огляд з’являвся у 13,7 відсотка випадків, а для запитань — у 64,7 відсотка. Майже 30 відсотків цитованих доменів не було серед результатів першої сторінки.

    В інструменті Пояснює, чому Googlebot є в перевірці: ШІ-огляди обирають джерела з індексу, але не лише з перших результатів.

  12. Grossman, R.; Liu, S.; Chen, M. K. та ін. (2026): How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026), с. 448–459

    Результат У 11 500 пошукових запитах джерела Google Search, ШІ-огляду та Gemini істотно відрізнялися. Сайти, що блокують ШІ-краулерів Google, рідше використовувалися як джерело в ШІ-оглядах.

    В інструменті Примітка про заблокований Google-Extended зіставляє цей результат із заявою Google, що перемикач не впливає на пошук.

  13. Hoffmann, F.; Goergens, T.; Khosla, S.; Bajpai, V. (2026): From robots.txt to ai.txt: Mapping the Evolution of Web Permissions in the Age of AI. ACM SIGCOMM Computer Communication Review 56, с. 29–41

    Результат Вимірювання приблизно 4 мільйонів доменів показує: robots.txt залишається найважливішим засобом; спеціальні для ШІ файли на кшталт ai.txt і llms.txt трапляються насамперед у технологічних компаній. Деякі посилання у llms.txt ведуть на сторінки, які robots.txt блокує.

    В інструменті Звідси перевірка, чи ведуть посилання з llms.txt на заблоковані сторінки.

  14. Chang, C.-Y.; He, X. (2025): The liabilities of robots.txt. Computer Law & Security Review 58, Artikel 106176

    Результат За генеративного ШІ ігнорування robots.txt має серйозніші наслідки. Для країн загального права ця праця обґрунтовує, що файл за певних умов може діяти як односторонній договір або попередження з наслідками для відповідальності.

    В інструменті Підтримує примітку, що robots.txt — це більше ніж техніка, із застереженням, що правову ситуацію в Німеччині потрібно перевіряти окремо.

  15. Ansar, M.; Sperotto, A.; Holz, R. (2025): Web Crawl Refusals: Insights From Common Crawl. Passive and Active Measurement (PAM 2025), Lecture Notes in Computer Science, с. 197–214

    Результат Близько 1,68 відсотка сайтів в одному знімку Common Crawl прямо відхиляли краулера, часто через великих хостерів і конструктори сайтів — від блокування до сторінки перевірки.

    В інструменті Звідси примітка, якщо головна сторінка відповідає сторінкою перевірки: захист від ботів блокує незалежно від robots.txt.

Стандарти, органи влади та дані виробників

Залишилося запитання?

Переглянути всі 51 безкоштовний інструмент

Пн–Пт 8:00–17:00

Надішліть нам скопійований результат. Ми налаштуємо robots.txt, llms.txt і структуровані дані так, щоб ШІ-пошук читав ваші сторінки, а навчання відбувалося лише там, де ви цього хочете, у Родевіші та по всьому Фогтланді.

+49 3744 4399760[email protected]

Пн–Пт 8:00–17:00 · Straße der Jugend 5, 08228 Rodewisch

Налаштувати доступ для ШІ
+49 3744 4399760Пн–Пт 8:00–17:00
ЗателефонуватиЗворотний дзвінок

ПЕРЕЛІК СКЛАДНИКІВ · АРКУШ 1/1

З чого складається ця сторінка

Значення виміряно під час збирання сайту, а з JavaScript ваш браузер перемірює їх наживо.

ПОЗ.СКЛАДНИКТИПРОЗМІР
01index.htmlДокумент≈ 29 КБ
02styles.cssТаблиця стилів≈ 20 КБ
03scripts.jsСкрипт≈ 13 КБ
04archivo-variable.woff2Шрифт≈ 58 КБ
05ibm-plex-mono.woff2Шрифт≈ 30 КБ
06favicon.svgГрафіка< 1 КБ

Рекламних чи аналітичних cookie: немає. Без вашої згоди сторінка нічого не завантажує зі сторонніх серверів, крім нашого сервісу доставки Cloudflare: шрифти, скрипти й графіка зберігаються в нас. Так само ми будуємо і вашу IT-інфраструктуру.

ПОЗА РОБОЧИМ ЧАСОМ

Телефонуйте все одно

Зазвичай ми в офісі Пн–Пт 8:00–17:00.

Увечері та у вихідні дзвінки на цей номер теж переадресовуються до нас, і часто хтось відповідає. Але обіцяти цього ми не можемо.

Якщо ніхто не відповів, залиште коротке голосове повідомлення: ім’я, номер і в чому справа. Ми передзвонимо якнайшвидше, не пізніше наступного робочого дня.

Розмова нічого не коштує. Якщо поза робочим часом потрібно, щоб хтось узявся до роботи негайно, діє надбавка з прайс-листа.

Зателефонувати зараз+49 3744 4399760

Вам зручніше написати? Через контактну форму або на [email protected]. Прочитаємо наступного робочого дня.

ДІАГНОСТИКА · AT-K2

Що сталося?

↵ ВИБРАТИESC ЗАКРИТИЗАТЕЛЕФОНУВАТИ: +49 3744 4399760

Власні налаштування

Які сервіси можна завантажувати?

Технічно необхідні

Рішення, яке ви тут ухвалите, а також налаштування колірної схеми та анімації. Ці дані зберігаються як невеликі записи на вашому пристрої й ніколи не надсилаються на сервер. Вони потрібні для роботи сайту, тому їх не можна вимкнути.