User-agent: *
Allow: /

# Служебное: закрытые разделы и машинные ручки. Пользы в
# индексе от них нет, а бюджет обхода они съедают.
Disallow: /admin
Disallow: /admin/
Disallow: /docs
Disallow: /redoc
Disallow: /openapi.json
Disallow: /health
Disallow: /metrics
Disallow: /session/
Disallow: /sessions
Disallow: /auth/
Disallow: /widget

# Пауза между запросами: сервис отвечает через модель, и
# быстрый обход отнимает мощность у живых людей.
Crawl-delay: 1

Host: https://rosstat-ai.ru
Sitemap: https://rosstat-ai.ru/sitemap.xml