Короткий ответ: чтобы попасть в ответы ChatGPT, YandexGPT, Perplexity и Claude, ваш robots.txt в 2026 году должен явно разрешать как минимум 9 AI-краулеров: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-Web, PerplexityBot, YandexGPTBot, Google-Extended и CCBot. Каждый имеет свою функцию — обучение модели, поиск в реальном времени или индексация по запросу пользователя. Блокировать обучающие боты (GPTBot, Google-Extended) можно, если вы не хотите, чтобы ваш контент использовался для обучения LLM. Но поисковые боты (OAI-SearchBot, PerplexityBot, YandexGPTBot) нужно открывать обязательно — иначе сайт не цитируется в ответах нейросетей.
Что такое AI-краулеры и зачем они нужны
AI-краулер — это бот, который индексирует сайты для нужд нейросетевых компаний. В отличие от классического Googlebot или YandexBot, который индексирует для классической выдачи, AI-боты делятся на три типа:
- Training crawlers — собирают данные для обучения языковых моделей. Главные представители: GPTBot (OpenAI), Google-Extended (Google для Gemini), CCBot (Common Crawl). Этот контент НЕ возвращается пользователю напрямую — он становится частью «памяти» модели.
- Search crawlers — индексируют сайты для поиска в реальном времени. Главные представители: OAI-SearchBot (поиск ChatGPT), PerplexityBot, YandexGPTBot, ClaudeBot. Этот контент возвращается пользователю с указанием источника.
- On-demand fetchers — заходят на сайт по запросу пользователя в момент разговора. Главные представители: ChatGPT-User, Claude-Web. Они не индексируют заранее — просто открывают конкретную страницу, когда пользователь спрашивает.
Понимание этой разницы критично: если вы блокируете все боты — вы пропадаете из ответов нейросетей. Если открываете только поисковые — вас будут цитировать, но не будут обучать на вашем контенте. Это часто оптимальный выбор для коммерческих сайтов.
История robots.txt и как файл изменился за эпоху нейросетей
Стандарт robots.txt появился в 1994 году (Robots Exclusion Protocol) и до 2023 года почти не менялся. Ситуация была простой: 95% трафика шло от двух крупных поисковиков (Google, Yandex) и трёх-четырёх помельче (Bing, Baidu, DuckDuckGo). Стандартный файл на 70% сайтов содержал 5-10 строк.
Август 2023 изменил всё: OpenAI выпустила GPTBot — первый официальный AI-краулер с публичным User-Agent. Буквально за год появилось 15+ различных ботов, каждый со своими правилами и функциями. К 2026 году качественный robots.txt коммерческого сайта содержит уже 40-80 строк, минимум.
Почему это важно: 90% русскоязычных сайтов в январе 2026 по-прежнему используют robots.txt образца 2020 года — без упоминания AI-ботов. Для большинства ботов в отсутствие явных правил «работает» по умолчанию «Allow» через User-agent: *. Но часть ботов (особенно PerplexityBot и OAI-SearchBot) в спорных ситуациях «предпочитают осторожничать» и просто не индексируют сайт. Явное Allow решает эту проблему.
Полный список AI-краулеров 2026 года
Список ботов в порядке важности для русскоязычного бизнеса:
- YandexGPTBot — индексирует для YandexGPT и Алисы. User-Agent:
YandexGPTBot. Документация: yandex.ru/support/webmaster/ - OAI-SearchBot — поиск ChatGPT. User-Agent:
OAI-SearchBot. Документация: platform.openai.com/docs/bots - PerplexityBot — Perplexity AI. User-Agent:
PerplexityBot - GPTBot — обучение GPT-моделей. User-Agent:
GPTBot - ChatGPT-User — заходит по запросу пользователя в ChatGPT. User-Agent:
ChatGPT-User - ClaudeBot — Anthropic Claude. User-Agent:
ClaudeBot - Claude-Web — веб-поиск Claude. User-Agent:
Claude-Web - Google-Extended — Google Gemini, обучение. User-Agent:
Google-Extended - CCBot — Common Crawl (используется многими LLM). User-Agent:
CCBot - Applebot-Extended — Apple Intelligence. User-Agent:
Applebot-Extended - FacebookBot — Meta AI. User-Agent:
FacebookBot - Bytespider — ByteDance / Doubao. User-Agent:
Bytespider - cohere-ai — Cohere
Сравнительная таблица: поведение 13 AI-ботов в 2026 году
Чтобы выбрать правильную стратегию, нужно понимать, как каждый бот ведёт себя. Сводная таблица по данным логов с наших 50+ клиентских проектов за последние 12 месяцев:
| Бот | Тип | Компания | Частота обхода | Соблюдает robots.txt | Блокируется Cloudflare по умолчанию |
|---|---|---|---|---|---|
| GPTBot | Training | OpenAI | Средняя | Да | Да |
| OAI-SearchBot | Search | OpenAI | Высокая | Да | Да |
| ChatGPT-User | On-demand | OpenAI | По запросу | Частично | Да |
| ClaudeBot | Training | Anthropic | Низкая-средняя | Да | Да |
| Claude-Web | Search | Anthropic | Средняя | Да | Да |
| PerplexityBot | Search | Perplexity | Очень высокая | Да | Да |
| YandexGPTBot | Search + AI | Яндекс | Очень высокая | Да | Нет |
| Google-Extended | Training | Средняя | Да | Нет | |
| CCBot | Training | Common Crawl | Низкая | Да | Да |
| Applebot-Extended | Training | Apple | Низкая | Да | Да |
| FacebookBot | Training | Meta | Низкая | Нет (нерегулярно) | Да |
| Bytespider | Training | ByteDance | Высокая | Очень плохо соблюдает | Да |
| cohere-ai | Training | Cohere | Низкая | Да | Да |
Ключевые выводы: во-первых, Bytespider (ByteDance/Doubao) официально заявляет поддержку robots.txt, но на практике игнорирует его в 70% случаев — блокировка возможна только через WAF. Во-вторых, FacebookBot редко соблюдает robots.txt — это общеизвестная проблема Meta. В-третьих, YandexGPTBot и Google-Extended не блокируются Cloudflare по умолчанию — их система «опознаёт» как «легальных» поисковиков.
Готовый шаблон robots.txt для коммерческого сайта
Этот шаблон подходит для большинства бизнес-сайтов, которые хотят максимальную AI-видимость. Все боты открыты:
# Allow all AI search and training bots
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YandexGPTBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: CCBot
Allow: /
User-agent: Applebot-Extended
Allow: /
# Allow classic search engines
User-agent: Googlebot
Allow: /
User-agent: YandexBot
Allow: /
User-agent: Bingbot
Allow: /
# Default rule for any other bot
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /cart/
Disallow: /search?
Sitemap: https://example.com/sitemap.xmlШаблон с защитой от обучения (paid content / уникальный контент)
Если у вас платный контент или вы не хотите, чтобы ваш текст использовался для обучения LLM (но при этом хотите цитироваться) — блокируйте обучающие боты, оставляйте поисковые:
# BLOCK training bots
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
# ALLOW search bots
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YandexGPTBot
Allow: /
# Classic search engines
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Sitemap: https://example.com/sitemap.xmlВажно понимать: блокировка обучения не защищает на 100%. CCBot уже собрал миллиарды страниц до того, как вы добавили блокировку. И есть боты, которые игнорируют robots.txt (это нарушение, но техническая реальность). Полная защита возможна только через WAF на уровне Cloudflare или nginx с блокировкой по User-Agent.
Где разместить robots.txt и как проверить
robots.txt должен лежать строго в корне домена: https://example.com/robots.txt. Не в подпапке, не в подразделе. Иначе боты его не найдут.
После размещения проверьте:
- Откройте URL в браузере — файл должен открыться текстом, без редиректов
- Проверьте в Яндекс.Вебмастере → Инструменты → Анализ robots.txt
- Проверьте в Google Search Console → robots.txt Tester (если ещё доступен) или через PageSpeed
- Проверьте через
curl -A "GPTBot" https://example.com/— сайт должен отдать 200 OK
Через 2–4 недели после публикации правильного robots.txt смотрите логи сервера — должны появиться записи с User-Agent от AI-краулеров. Если их нет — проверьте, не блокирует ли их Cloudflare WAF или ваш хостинг-провайдер на уровне фаервола.
Шаблон для специальных случаев: интернет-магазин, SPA-приложение, медиа
Разные типы сайтов требуют разной конфигурации robots.txt. Ниже — 3 проверенных варианта для распространённых сценариев.
Интернет-магазин с фильтрами:
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?utm_
Disallow: /api/
Disallow: /*?session=
# AI-боты: индексация карточек товаров
User-agent: GPTBot
Allow: /catalog/
Allow: /product/
Disallow: /cart/
Disallow: /search?
User-agent: OAI-SearchBot
Allow: /
Disallow: /cart/
Disallow: /checkout/
User-agent: PerplexityBot
Allow: /
Disallow: /cart/
Disallow: /checkout/
User-agent: YandexGPTBot
Allow: /
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-products.xmlПочему важно: фильтры и сортировки создают сотни тысяч URL-дублей. Боты тратят на них время и не доходят до важных карточек товаров. Блокировка параметров ?sort= и ?filter= экономит бюджет обхода и ускоряет индексацию.
SPA-приложение с хэш-роутингом:
User-agent: *
Allow: /
Disallow: /api/
Disallow: /static/internal/
# Срендеренные версии для ботов
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YandexGPTBot
Allow: /
# Для SPA ОБЯЗАТЕЛЬНо SSR или prerender,
# иначе боты видят пустую страницу
Sitemap: https://example.com/sitemap.xmlКритический момент: для SPA один robots.txt не решает проблемы. AI-краулеры в большинстве не исполняют JavaScript или исполняют с большими задержками. Нужен SSG или SSR — подробнее в статье «Статический сайт vs динамический».
Медиа-сайт с paywall и премиум-контентом:
# Блокируем обучающие боты
User-agent: GPTBot
Disallow: /premium/
Disallow: /subscribers/
Allow: /free/
Allow: /preview/
User-agent: Google-Extended
Disallow: /premium/
Disallow: /subscribers/
Allow: /free/
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: cohere-ai
Disallow: /
# Разрешаем поисковые боты (цитирование — полезно для сбора трафика)
User-agent: OAI-SearchBot
Allow: /free/
Allow: /preview/
Disallow: /premium/
User-agent: PerplexityBot
Allow: /free/
Allow: /preview/
Disallow: /premium/
User-agent: YandexGPTBot
Allow: /
User-agent: *
Allow: /
Disallow: /admin/
Sitemap: https://example.com/sitemap.xmlЛогика этого шаблона: пускаем поисковые боты на бесплатный контент (чтобы привести читателей), блокируем обучающие (чтобы не «скармливать» LLM-модели платным контентом).
Cloudflare и AI-краулеры: важный нюанс
С 2024 года Cloudflare по умолчанию включает блокировку AI-краулеров для всех новых сайтов на бесплатном плане. Это часто незаметно — вы вроде написали правильный robots.txt, а боты к вам не приходят, потому что их режет Cloudflare на уровне CDN.
Чтобы проверить: зайдите в панель Cloudflare → Security → Bots → AI Bots → проверьте, что переключатель «Block AI bots» выключен. Если он включён — все AI-краулеры получают 403, независимо от вашего robots.txt.
Для большинства коммерческих сайтов мы рекомендуем отключить эту блокировку. Исключение — сайты с уникальным платным контентом, где защита от обучения LLM критична.
Кейс: как открытие AI-ботов увеличило трафик сайта строительной фирмы на 41%
Детальный кейс из нашей практики (сентябрь 2025 — февраль 2026). Клиент — строительная фирма «Строй-Про» (название изменено) в Подмосковье, сайт на 1C-Битрикс, 380 страниц (услуги + кейсы + блог).
Ситуация на старте (сентябрь 2025):
- robots.txt написан в 2019 году, AI-боты не упоминаются
- Сайт за Cloudflare (бесплатный план), блокировка AI-ботов включена
- По логам за август 2025: 0 визитов от любых AI-краулеров
- YandexGPT в ответах на «строительная фирма Подмосковье» — клиент ни разу
- Органический трафик: 4 200 уник./мес., позиции в Яндексе 12-25 по основным запросам
Что сделали (сентябрь-октябрь 2025):
- Переписали robots.txt с явными Allow для 10 AI-ботов
- Отключили блокировку AI-ботов в Cloudflare (раздел Security → Bots)
- Добавили полный sitemap.xml со всеми 380 URL и ping в Яндекс.Вебмастер
- Настроили мониторинг логов nginx (отчёт раз в неделю по визитам AI-ботов)
- На 5 главных страницах услуг добавили FAQ-блок с Schema FAQPage по 8-12 вопросов на каждой
Динамика по месяцам:
- Ноябрь 2025: первые визиты PerplexityBot (24 визита), YandexGPTBot (89 визитов). OAI-SearchBot ещё не приходил
- Декабрь 2025: 312 визитов AI-ботов в сумме, впервые появились OAI-SearchBot (44 визита) и GPTBot (12)
- Январь 2026: 1 240 визитов AI-ботов, клиент впервые попал в ответ YandexGPT по «строительная фирма Одинцово»
- Февраль 2026: 2 850 визитов AI-ботов, регулярные цитирования в YandexGPT (4-6 раз в неделю по разным запросам)
Итог за 5 месяцев:
- Органический трафик: 4 200 → 5 920 уник./мес (+41%)
- Из них прямой трафик из нейросетей (referrer chat.openai.com, perplexity.ai, ya.ru/neuro): 480 в месяц (было 0)
- Заявок с сайта выросло с 28-35 до 51-67 в месяц
- Клиент появляется в ответах YandexGPT по 9 из 30 тестовых запросов, в Perplexity — по 6 из 30
Стоимость работ — менее 80 000 ₽ (включая аудит, переписывание robots.txt, настройку Cloudflare, FAQ-блоки на 5 страницах). Окупаемость — примерно 2 месяца за счёт дополнительных заявок.
Типичные ошибки при настройке
Ошибка 1: блокировка всех ботов через Disallow: /
Самая болезненная ошибка. Файл с User-agent: * \n Disallow: / блокирует вообще всех роботов, включая Googlebot и YandexBot. Сайт пропадает из всех поисковиков за 1–2 недели. Проверьте, что у вас нет такой строки.
Ошибка 2: путаница регистра в User-Agent
User-Agent имена чувствительны к регистру. gptbot и GPTBot — разные сущности. Используйте правильное написание: GPTBot (с заглавной G, B, T), YandexGPTBot, OAI-SearchBot, PerplexityBot. Сверяйтесь с официальной документацией ботов.
Ошибка 3: отсутствие Sitemap в robots.txt
В конце файла обязательно укажите путь к sitemap.xml: Sitemap: https://example.com/sitemap.xml. Это помогает ботам быстрее находить все страницы. Подробнее про работу с разметкой и индексацией — в нашем гайде по Schema.org и JSON-LD.
Ошибка 4: запрет на индексацию через meta robots
Проверьте, что на страницах нет тега <meta name="robots" content="noindex">. Этот тег блокирует индексацию даже при разрешающем robots.txt. Особенно часто встречается на тестовых стендах, забытых после переноса в production.
Ошибка 5: блокировка статических ресурсов
Не блокируйте /static/, /assets/, /images/, /css/, /js/. AI-краулеры (особенно OAI-SearchBot) загружают JavaScript и CSS, чтобы корректно интерпретировать структуру страницы. Запрет на эти папки делает сайт «битым» для них.
Юридические аспекты: можно ли запретить обучение нейросетей
В 2025–2026 годах вопрос «имеет ли право AI-компания обучать модель на моих текстах» вышел в публичную плоскость. По состоянию на май 2026 года ситуация такова:
- OpenAI, Anthropic, Google — публично заявили, что соблюдают директивы robots.txt и не используют для обучения сайты, заблокированные через GPTBot, ClaudeBot, Google-Extended.
- Perplexity — компания заявляет, что не обучает модели, а только цитирует источники с активной ссылкой. PerplexityBot подчиняется robots.txt.
- Яндекс — YandexGPTBot введён в 2024 году, формально подчиняется директивам. Отдельный бот для индексации поиска (YandexBot) и обучения нейросети (YandexGPTBot) — это сделано специально, чтобы веб-мастера могли разрешить одно и запретить другое.
- «Серые» боты — десятки малых компаний используют User-Agent под видом легитимных ботов или просто игнорируют robots.txt. Их блокируют только через Cloudflare WAF или iptables.
Юридически в России на 2026 год robots.txt не имеет статуса обязательного к исполнению документа, но в Европе (Директива ЕС об авторском праве в цифровом едином рынке, Article 4) — да, через механизм TDM Reservation. На практике в РФ нарушение директив robots.txt со стороны крупных AI-компаний крайне маловероятно — это репутационный риск.
Приоритезация: каких AI-ботов открывать в первую очередь
Если вы только начинаете GEO-оптимизацию и не хотите сразу открывать всех 13 ботов, начните с пятёрки, которая даёт 80% эффекта в Рунете:
- YandexGPTBot — приоритет №1. Яндекс — главный поисковик в РФ, и YaGPT уже встроен в поисковую выдачу. Открыть обязательно.
- PerplexityBot — приоритет №2. Perplexity активно растёт среди русскоязычных пользователей, особенно среди IT-специалистов и предпринимателей. Цитирование с активной ссылкой — фактически бесплатный трафик.
- OAI-SearchBot — приоритет №3. Это бот для функции «Поиск в ChatGPT», которой пользуются миллионы. В отличие от GPTBot (обучение), OAI-SearchBot ищет в реальном времени и часто даёт ссылку на источник.
- ClaudeBot — приоритет №4. Claude используют меньше, но среди корпоративного сегмента и разработчиков аудитория качественная и платёжеспособная.
- GPTBot — приоритет №5. Это бот для обучения новых версий GPT. Открытие даст ваши тексты в «знания» будущих моделей, но прямого трафика не приведёт. Открывать стоит, если у вас уникальный экспертный контент.
Остальные 8 ботов (Bytespider, Meta-ExternalAgent, Applebot-Extended, DuckAssistBot и т.д.) — открывайте позже, по мере анализа логов и выявления тех, кто реально приходит на ваш сайт.
Как мониторить индексацию AI-краулерами
Создайте простой парсер логов nginx, который раз в неделю отчитывает количество визитов от каждого бота. Пример bash-команды:
grep -E "GPTBot|OAI-SearchBot|PerplexityBot|YandexGPTBot|ClaudeBot" /var/log/nginx/access.log | awk '{print $14}' | sort | uniq -c | sort -rnНа правильно открытом сайте средней посещаемости (500–5000 уникальных в день) количество визитов AI-ботов:
- YandexGPTBot: 50–300 в день
- PerplexityBot: 30–200 в день
- OAI-SearchBot: 20–150 в день
- ClaudeBot: 10–80 в день
- GPTBot: 5–50 в день
Если цифры в 5–10 раз ниже — у вас проблемы с robots.txt или Cloudflare блокирует ботов. Если AI-боты не приходят вообще третий месяц — нужен срочный аудит.
В Like Sites мы настраиваем robots.txt и мониторинг визитов AI-ботов на всех клиентских проектах. Хотите узнать, индексируется ли ваш сайт нейросетями — закажите аудит в разделе SEO-услуги или прочитайте смежные статьи: почему сайт не попадает в нейросеть и что такое GEO-оптимизация.
Смежный материал про техническое обеспечение индексации — «GEO-оптимизация для YandexGPT и ChatGPT», а про разметку, которую боты будут читать после открытия robots.txt — «Schema.org: полный гайд».