Sitemap и robots.txt: настройка для индексации

Sitemap.xml и robots.txt — два файла, которые управляют тем, как поисковики видят ваш сайт. Правильная настройка ускоряет индексацию и экономит краулинговый бюджет. Разберём оба файла.

Роль файлов

Файл	Что делает
robots.txt	Разрешает/запрещает сканирование
sitemap.xml	Список страниц для индексации

robots.txt: базовый пример

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /search/

Sitemap: https://site.ru/sitemap.xml

Директива	Назначение
User-agent	Для кого правило (* — все)
Allow	Разрешить раздел
Disallow	Запретить раздел
Sitemap	Указать карту сайта

Ошибки robots.txt

Правила для ИИ-краулеров

Отдельные правила для нейросетей: GPTBot, ClaudeBot, PerplexityBot, Google-Extended. Решите, разрешаете ли обучение на вашем контенте:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Allow: /

Если контент важен для нейропоиска — разрешайте краулерам доступ к страницам статей.

Ошибка	Последствие	Решение
Disallow: /	Блок всего сайта	Проверьте правило
Блок CSS/JS	Плохой рендеринг	Разрешить статику
Синтаксис	Игнор правил	Проверка вебмастером
Устаревшие правила	Ненужные запреты	Аудит правил

sitemap.xml: формат

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://site.ru/</loc>
    <lastmod>2026-08-20</lastmod>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://site.ru/articles/</loc>
    <lastmod>2026-08-20</lastmod>
    <priority>0.9</priority>
  </url>
</urlset>

Что включать в sitemap

Включать	Не включать
Главная, категории	Служебные (admin, cart)
Статьи и страницы	Дубли и параметры
Товары	Страницы поиска
Курсы	Черновики
Калькуляторы	Заблокированные в robots

Правила sitemap

Автоматическая генерация

Для статических сайтов генерируйте sitemap скриптом при сборке; для CMS используйте плагины (Yoast, Rank Math, XML Sitemaps). Важно: дата lastmod должна обновляться при изменении страницы — поисковики быстрее переобходят изменённое.

Правило	Детали
Максимум URL	50 000 на файл
Размер файла	До 50 МБ
Формат	Только индексируемые страницы
lastmod	Актуальные даты обновления
Разделение	Несколько файлов + индекс

Настройка: пошагово

1. Соберите список индексируемых страниц
2. Сгенерируйте sitemap (скрипт/CMS-плагин)
3. Добавьте ссылку на sitemap в robots.txt
4. Отправьте в Вебмастер и Search Console
5. Проверьте индексацию через site:
6. Обновляйте при изменении структуры

Sitemap для статей и блога

Для блога используйте раздельные файлы:

sitemap-pages.xml
sitemap-posts.xml
sitemap-products.xml
sitemap-index.xml (указывает на все)

Проверка индексации

Инструмент	Как
Яндекс.Вебмастер	Раздел «Индексирование»
Google Search Console	URL-инспектор
site:site.ru	Быстрая проверка
Сверка sitemap	Расхождение с индексом

Частые сценарии

Сценарий	Решение
Страницы не индексируются	Проверка robots и sitemap
Мусор в индексе	Disallow + noindex
Дубли страниц	Canonical + 301
Медленная индексация	Sitemap + внутренние ссылки

Что дальше

• Техническое SEO
• llms.txt
• SEO для сайта
• Документация OpenChamber (рус.)

Следующие шаги

Часто задаваемые вопросы

• Зачем sitemap.xml? — Карта сайта для ускорения индексации.
• Что такое robots.txt? — Правила сканирования для краулеров.
• Как создать sitemap? — Список страниц → XML → отправка в вебмастеры.
• Какие ошибки robots? — Полный запрет, блок статики, синтаксис.
• Как проверить индексацию? — Вебмастер, Search Console, site:.

Заключение

Sitemap и robots.txt — фундамент технического SEO: правильные файлы ускоряют индексацию и защищают от мусора. Настройте их один раз и проверяйте после изменений. Настроим индексацию вашего сайта.

---

Отчёт создан: [email protected] · refertur.net · t.me/realhikaz · WhatsApp SEO, продвижение, разработка, сайты, веб-приложения, сервисы, калькуляторы, контент-маркетинг, каталоги, отчёты, аудиты — на заказ. Напишите нам в WhatsApp — ответим в течение часа.