# ==========================================================================
# robots.txt — https://cosmoenergetics.ru/
# Версия: 2026-10-13 (PDF-архив переехал: закрыт /files/gazeta-2001/, удалён
#   устаревший /files/originaly/ — папки больше нет, её проверять нечего;
#   исправлено противоречие в комментарии форума; FAQ-дубли пока живут через
#   canonical — для них вручную добавлены точечные 301-пары в редакторе uCoz)
#
# Логика файла:
#   • служебное закрыто, контент и ассеты открыты;
#   • пагинация (?pageN) обходится, остальные GET-параметры закрыты;
#   • ИИ-ассистенты, которые отвечают людям и ссылаются на сайт, — открыты;
#   • сбор текстов в обучающие своды — закрыт.
#
# ВАЖНО. Яндекс при наличии секции «User-agent: Yandex» игнорирует секцию
# «User-agent: *». Поэтому обе секции обязаны совпадать строка в строку:
# меняете одну — меняйте вторую. Единственное отличие — Clean-param,
# которая нужна только Яндексу.
# Пустых строк внутри секций нет: Яндекс прямо пишет, что пустые строки
# между User-agent / Allow / Disallow недопустимы. Разделители — комментарии.
# ==========================================================================

User-agent: *
# --- ассеты: нужны поисковику, чтобы верно отрисовать страницу ---
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.jpeg
Allow: /*.png
Allow: /*.webp
Allow: /*.gif
Allow: /*.svg
Allow: /*.ico
Allow: /*.woff2
Allow: /images/
Allow: /css/
Allow: /js/
Allow: /fonts/
Allow: /.s/
# --- пагинация: /news/?page2 … /news/?page18 — должна обходиться ---
# Правило длиннее, чем «Disallow: /*?», поэтому выигрывает (проверено:
# /news/?page2 и /news/?page=2 отдают 200).
Allow: /*?page
# --- служебное с параметрами ---
# Примечание: «/*?» уже закрывает всё, что содержит «?». Строки ниже —
# подстраховка на случай экзотических путей без «?» (/ajax-…, /…-sort=…).
Disallow: /*?
Disallow: /*&
Disallow: /*utm_
Disallow: /*from=
Disallow: /*sort=
Disallow: /*print=
Disallow: /*ajax
Disallow: /*fromtype=
# --- вход, регистрация, личные разделы ---
Disallow: /confirm
# ! РАНЬШЕ: 11 строк /index/1 … /index/10 + /index/sub/ — список был неполным.
#   Проверено 03.10.2026: /index/11 отдаёт 200 (36 КБ), /index/12, /index/20 —
#   тоже 200, в вёрстке есть ссылки вплоть до /index/40. Закрываем весь раздел.
#   Нюанс: у /index/1 и /index/2 в HTML стоит meta noindex — но страницы,
#   закрытые в robots.txt, Яндекс не обходит, поэтому noindex он не увидит
#   (закрытые страницы могут жить в индексе годами). Если хотите убирать их
#   из индекса именно через noindex — уберите запрет и оставьте meta-тег.
Disallow: /index/
Disallow: /register
Disallow: /verify
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /stat/
Disallow: /informer/
Disallow: /abnl/
Disallow: /poll/
Disallow: /search/
Disallow: /mchat/
Disallow: /notes/
# ! ДОБАВЛЕНО 10.10.2026 (чистка индекса): пустые листинги месяцев блога
#   (/blog/2026-00, -01, -02 — проверено: отдают 200). Записи блога
#   не задевает — у записей перед датой стоит слаг.
Disallow: /blog/20
Disallow: /news/20
# ! ПЕРЕПИСАНО 13.10.2026: PDF-архив газет 2001 г. («Тайная власть»,
#   «Зигзаг удачи») переехал из /files/originaly/ в /files/gazeta-2001/.
#   Старый путь отдаёт 404 — строка для него удалена. Новый путь закрыт
#   от обхода: из индекса файлы не пополнятся, а читателям ссылки на
#   скачивание работают — robots на клики пользователей не влияет.
#   Хабы «Пресса и публикации» — /pressa-publikacii,
#   «Оригиналы трудов» — /originaly-trudov-petrova.
Disallow: /files/gazeta-2001/
# --- магазин: модуля нет, но правила оставлены на будущее ---
Disallow: /shop/order
Disallow: /shop/printorder
Disallow: /shop/checkout
Disallow: /shop/user
Disallow: /shop/search
# --- служебные виды страниц uCoz ---
# /*-0-0-  версии для печати и служебные списки форума
# /*-0-1-  пересортировка каталогов
# Проверено: среди 531 адреса из sitemap-*.xml совпадений с этими шаблонами нет.
Disallow: /*-0-0-
Disallow: /*-0-1-
# --- ФОРУМ ---
# Раздел закрыт от обхода целиком (листинги и служебные виды в индексе не
# нужны). Отдельные страницы форума открыты точечно Allow-строками ниже —
# если решите вернуть форум в индекс, разрешайте адресами, а не снятием
# общего запрета. Проверено 03.10.2026: /forum/0-0-0-1, -2, -4, -9 отдают
# 302 на /forum/.
Disallow: /forum/
Disallow: /forum/0-0-0-3
Disallow: /forum/0-0-0-5
Disallow: /forum/0-0-0-6
Disallow: /forum/0-0-0-7
Disallow: /forum/0-0-0-8
Disallow: /forum/*-0-0-0-
Disallow: /forum/*newpost
Disallow: /forum/*editpost
Disallow: /forum/*quote
Disallow: /forum/*report
# --- FAQ: служебные виды uCoz ---
# Проверено 13.10.2026: /faq/6 и /faq/17 отдают 200 с canonical на /faq —
# склейка уже работает через canonical. Для полного порядка в редакторе
# редиректов uCoz стоит добавить две точечные пары: /faq/6 → /faq/ и
# /faq/17 → /faq/ (301). Общее правило вида «Disallow: /faq/[0-9]» НЕ
# ставим специально: и canonical, и будущий 301 должны оставаться
# обходимыми роботом, иначе склейка не произойдёт вовсе.
# ! Проверено 03.10.2026: каждый адрес ниже отдаёт HTTP 200 и ПОЛНУЮ копию
#   /faq/ — это 11 копий, обход которых тратит краулинговый бюджет впустую.
Disallow: /faq/add
Disallow: /faq/addf
Disallow: /faq/adds
Disallow: /faq/chc
Disallow: /faq/clubs
Disallow: /faq/fav
Disallow: /faq/favorites
Disallow: /faq/search
Disallow: /faq/srch
Disallow: /faq/viusr
# --- видео: каналы ---
# /video/chc («Все каналы») и страницы каналов /video/chp/N/... открыты:
# это живые страницы с уникальным заголовком и собственным canonical,
# видеотека пополняется. Закрыт только служебный фильтр /video/chc/chp
# (проверено: 53 341 байт против 53 325 у /video/chc — почти полная копия
# с canonical на саму себя).
Disallow: /video/viusr
Disallow: /video/chc/chp
# --- дубли и мусор ---
# RSS закрыт целиком: ленты /news/rss, /blog/rss, /publ/rss, /load/rss,
# /forum/rss, /photo/rss повторяют содержимое разделов. Подписчикам запрет
# не мешает: читалки лент robots.txt не смотрят (это пользовательские
# запросы, на них REP не распространяется).
Disallow: /*rss
# ! УДАЛЕНО 13.10.2026: строка «Disallow: /gb/». Проверено: /gb/ и любые
#   пути под ним отдают 404 (газетный хаб живёт на /pressa-publikacii), а
#   сам /gb отдаёт 301 на него — редирект должен оставаться обходимым,
#   иначе вес брендовой позиции №1 не переедет.
# ! УДАЛЕНО (было ниже в старой версии): секции
#   «User-agent: YandexImages» и «User-agent: Googlebot-Image».
#   Причина: у робота с собственной секцией она заменяет общие правила
#   целиком (у Яндекса — и «User-agent: Yandex», и «User-agent: *»),
#   поэтому эти секции обнуляли ВСЕ запреты ниже для картинок: /search/,
#   /index/, /*?, /*-0-0- и т. д. становились открытыми. Пользы не было:
#   картинки и так разрешены строками Allow: /*.jpg / *.png / /images/ /
#   /.s/ в обеих основных секциях. Если понадобится вернуть — верните
#   вместе с копией ключевых Disallow, а не «пустыми» Allow.

# ! ВНИМАНИЕ: Яндекс при наличии собственной группы ИГНОРИРУЕТ группу «*».
# Поэтому правила этой секции повторяют группу «*» строка в строку.
# Меняете там — меняйте и здесь. Отличие только одно: Clean-param,
# которая нужна исключительно Яндексу.

User-agent: Yandex
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.jpeg
Allow: /*.png
Allow: /*.webp
Allow: /*.gif
Allow: /*.svg
Allow: /*.ico
Allow: /*.woff2
Allow: /images/
Allow: /css/
Allow: /js/
Allow: /fonts/
Allow: /.s/
Allow: /*?page
Disallow: /*?
Disallow: /*&
Disallow: /*utm_
Disallow: /*from=
Disallow: /*sort=
Disallow: /*print=
Disallow: /*ajax
Disallow: /*fromtype=
Disallow: /confirm
Disallow: /index/
Disallow: /register
Disallow: /verify
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /stat/
Disallow: /informer/
Disallow: /abnl/
Disallow: /poll/
Disallow: /search/
Disallow: /mchat/
Disallow: /notes/
# ! ДОБАВЛЕНО 10.10.2026 (чистка индекса): пустые листинги месяцев блога
#   (/blog/2026-00, -01, -02 — проверено: отдают 200). Записи блога
#   не задевает — у записей перед датой стоит слаг.
Disallow: /blog/20
Disallow: /news/20
# ! ПЕРЕПИСАНО 13.10.2026: PDF-архив переехал в /files/gazeta-2001/
#   (старый /files/originaly/ удалён — папки нет, строка убрана).
#   Хаб «Пресса и публикации» — на /pressa-publikacii.
Disallow: /files/gazeta-2001/
Disallow: /shop/order
Disallow: /shop/printorder
Disallow: /shop/checkout
Disallow: /shop/user
Disallow: /shop/search
Disallow: /*-0-0-
Disallow: /*-0-1-
Disallow: /forum/
Disallow: /forum/0-0-0-3
Disallow: /forum/0-0-0-5
Disallow: /forum/0-0-0-6
Disallow: /forum/0-0-0-7
Disallow: /forum/0-0-0-8
Disallow: /forum/*-0-0-0-
Disallow: /forum/*newpost
Disallow: /forum/*editpost
Disallow: /forum/*quote
Disallow: /forum/*report
Disallow: /faq/add
Disallow: /faq/addf
Disallow: /faq/adds
Disallow: /faq/chc
Disallow: /faq/clubs
Disallow: /faq/fav
Disallow: /faq/favorites
Disallow: /faq/search
Disallow: /faq/srch
Disallow: /faq/viusr
Disallow: /video/viusr
Disallow: /video/chc/chp
Disallow: /*rss
# Чистим из адресов мусорные параметры: Яндекс склеит такие ссылки с
# «чистой» версией страницы. Google эту директиву не понимает, но ему
# параметры уже закрыты через «Disallow: /*?».
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&from&ref&openstat&yclid&gclid&fbclid&_openstat

# --- ИИ-ПОМОЩНИКИ: ОТВЕЧАЮТ ЛЮДЯМ И ССЫЛАЮТСЯ НА САЙТ — ОТКРЫТЫ ---
# Эти роботы не собирают тексты для обучения моделей, а достают страницу,
# чтобы ответить человеку и поставить ссылку на источник. Закрывать их —
# терять посетителей.

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /
# ! ДОБАВЛЕНО: живые поисково-ответные роботы, которых не было в списке.

User-agent: DuckAssistBot
Allow: /

User-agent: MistralAI-User
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /
# ! ДОБАВЛЕНО И ВАЖНО ДЛЯ РУНЕТА: YandexAdditionalBot / YandexAdditional —
# это НЕ краулер, а переключатель показа контента в быстрых ответах с
# YandexGPT и в Поиске с Алисой. Он применяется к страницам, которые уже
# проиндексировал основной робот. Явный Allow фиксирует политику: контент
# может цитироваться в нейроответах Яндекса. Ставить сюда Disallow — значит
# исчезнуть из ответов Алисы.

User-agent: YandexAdditionalBot
Allow: /

User-agent: YandexAdditional
Allow: /

# --- СБОР ТЕКСТОВ ДЛЯ ОБУЧЕНИЯ МОДЕЛЕЙ — ЗАКРЫТО ---
# Эти роботы забирают тексты в обучающие своды и ничего не возвращают.
# На видимость в ответах ИИ их запрет не влияет: за ответы отвечают
# роботы из списка выше.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /
# ! ДОБАВЛЕНО: обучающие роботы Mistral и Cohere.

User-agent: MistralAI-Training
Disallow: /

User-agent: Cohere-AI
Disallow: /
# ! ПЕРЕСТАВЛЕНО: Google-Extended раньше стоял в списке «помощников» с
#   Allow: /, что противоречит политике файла. Это не краулер, а токен:
#   он управляет использованием контента для обучения Gemini и для
#   grounding в Gemini Apps / Vertex AI. Запрет НЕ влияет на обычный поиск
#   Google. Развилка: хотите цитирования в Gemini — верните Allow: /.

User-agent: Google-Extended
Disallow: /
# Примечание: отдельного робота у xAI/Grok не существует — токены вида
# «xAI-Bot» в чужих руководствах ничего не закрывают.

# --- SEO-краулеры: не нужны для индексации, но лезут часто ---
# Crawl-delay поддерживают AhrefsBot, SemrushBot и MJ12bot. Google его
# игнорирует, а Яндекс не поддерживает вовсе (в списке директив Вебмастера
# его нет; скорость обхода задаётся в Вебмастере).

User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

User-agent: MJ12bot
Crawl-delay: 10

Sitemap: https://cosmoenergetics.ru/sitemap.xml