# Кабинет, оверлеи OBS, API, возвраты из Twitch, VK Видео Live, Kick и Nightbot,
# вход и переходник QR-кода /go — не для поиска.
# Правило в robots.txt — префикс: `/app` закрыл бы и канал `/apple_cat`, `/go` —
# публичные /goals/…. Поэтому разделы — со слэшем на конце, а сам адрес
# раздела — точным правилом с `$` (или `?` для адреса с параметрами).
User-agent: *
Disallow: /app/
Disallow: /app$
Disallow: /overlay/
Disallow: /overlay$
Disallow: /api/
# Превью страниц каналов (og:image) — пусть видят соцсети и Яндекс Картинки.
Allow: /api/page-card/
# Превью страниц статистики каналов /c/… (og:image).
Allow: /api/channel-card/
# Картинка анонса эфира для Threads: Meta забирает её по ссылке сама.
Allow: /api/threads-image/
Disallow: /_serverFn/
Disallow: /twitch/
Disallow: /vkvideo/
Disallow: /kick/
Disallow: /threads/
Disallow: /nightbot/
Disallow: /login/
Disallow: /login$
Disallow: /go$
# Лаборатория: черновые проверки, не для поиска.
Disallow: /lab/
Disallow: /go?
# Короткие ссылки с метками (/b/<откуда>, /l/<канал>/<куда>) — только редиректы,
# их не закрываем: запрет обхода прятал от Bing редирект, и он клал в выдачу
# сам адрес /b/… Робот видит редирект и noindex (X-Robots-Tag в ответе).
# Яндекс: метки не меняют страницу — не обходить каждый вариант адреса.
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&yclid&from

# SEO-скраперы: страницы статистики каналов /c не для их баз. Свои правила у
# группы заменяют общие, поэтому служебное закрыто и здесь. Кто не слушает
# robots.txt — бан CrowdSec (deploy/crowdsec/lanolstream-seo-scrapers.yaml).
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: MJ12bot
User-agent: DotBot
User-agent: PetalBot
User-agent: Bytespider
User-agent: BLEXBot
User-agent: DataForSeoBot
User-agent: serpstatbot
User-agent: Amazonbot
# Поиск Amazon (Rufus/Alexa): рынку РФ ничего не даёт, а 21.10.2026 обходил
# /c и картинки превью тысячами за ночь.
User-agent: Amzn-SearchBot
Disallow: /c/
Disallow: /c$
Disallow: /api/
Disallow: /app/
Disallow: /overlay/
Disallow: /_serverFn/
Disallow: /login/

# ИИ-краулеры: страницы статистики открыты, но не чаще запроса в 2 секунды —
# 60 тысяч страниц подряд они обходили сотнями в минуту. Своя группа заменяет
# общую, поэтому служебное закрыто и здесь. Crawl-delay понимает не каждый:
# за перебор на /c их всё равно не баним (deploy/crowdsec/lanolstream-ai-crawlers-whitelist.yaml).
User-agent: ClaudeBot
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: PerplexityBot
Crawl-delay: 2
Disallow: /api/
Allow: /api/channel-card/
Allow: /api/page-card/
Disallow: /app/
Disallow: /app$
Disallow: /overlay/
Disallow: /overlay$
Disallow: /_serverFn/
Disallow: /twitch/
Disallow: /vkvideo/
Disallow: /kick/
Disallow: /threads/
Disallow: /nightbot/
Disallow: /login/
Disallow: /login$
Disallow: /go$
Disallow: /go?
Disallow: /lab/

Sitemap: https://lanolstream.ru/sitemap.xml
# Страницы статистики каналов /c/… — десятки тысяч адресов, отдельным файлом.
Sitemap: https://lanolstream.ru/sitemap-channels.xml