Ошибки в robots.txt на WordPress приводят к индексации технических страниц, что «съедает» до 40% краулингового бюджета на сайтах с объемом контента более 500 страниц. Правильный файл не просто дает инструкции, а жестко отсекает мусорный трафик ботов, экономя ресурсы сервера и фокусируя вес на конверсионных URL.
Базовая архитектура и критические директивы
Стандартный виртуальный robots.txt в WordPress часто избыточен или слишком мягк. Для коммерческих проектов обязателен запрет индексации папки /wp-admin/ (кроме admin-ajax.php, который нужен для работы некоторых фронтенд-скриптов) и страниц поиска /?s=, чтобы избежать дублей контента. Игнорирование запрета на /wp-includes/ может привести к тому, что Google проиндексирует JS-библиотеки как отдельные страницы, что размывает тематический релевантность сайта.
Кейс: на интернет-магазине с 2000 SKU отсутствие запрета на внутренний поиск создало 15 000 страниц-дублей за месяц, что привело к падению позиций основных категорий на 5-8 пунктов в течение двух недель. После жесткого Disallow: /?s= и очистки индекса через Search Console, позиции восстановились за 21 день.
Экспертный вывод: всегда оставляйте admin-ajax.php открытым, иначе часть динамических элементов сайта может перестать корректно рендериться ботами, что снизит оценку PageSpeed и UX.
Борьба с дублями: теги, архивы и пагинация
WordPress по умолчанию генерирует множество технических страниц: архивы дат, теги и страницы авторов. Если у вас не предусмотрена стратегия контент-маркетинга через теги, их нужно закрывать. Использование директивы Disallow: /tag/ и Disallow: /category/ (если категории дублируют разделы) сокращает объем индекса на 20-30% на контентных проектах.
Важный нюанс: не путайте robots.txt и meta noindex. Robots.txt запрещает обход, но страница может остаться в индексе без описания (snippet), если на нее ведут внешние ссылки. Для полного удаления из индекса используйте связку: запрет в robots + тег noindex в коде. Ошибки настройки плагинов SEO для WordPress часто заключаются именно в попытке управлять индексацией только через один из этих инструментов.
Экспертный вывод: закрывайте архивы дат (/year/, /month/) безоговорочно — они не несут никакой SEO-ценности и только создают шум для поисковиков.
Оптимизация под разные поисковые системы
Использование единого блока для всех ботов — ошибка новичка. Яндекс и Google по-разному интерпретируют директивы. Например, Яндекс более чувствителен к закрытию технических разделов, в то время как Google может игнорировать некоторые запреты, если видит сильную внутреннюю перелинковку. Рекомендуется разделять инструкции через User-agent: Google и User-agent: Yandex.
Статистика показывает, что разделение правил позволяет точнее управлять индексацией на 15-20% эффективнее, особенно в части управления «мусорными» параметрами URL (например, фильтрами товаров ?filter=), которые Яндекс индексирует охотнее, чем Google.
Экспертный вывод: всегда прописывайте отдельный блок для Yandex, чтобы жестко ограничить индексацию параметров сортировки и фильтрации, которые чаще всего создают дубли в рунете.
Sitemap и управление краулинговым бюджетом
Директива Sitemap: должна указывать на прямой путь к XML-карте. На WordPress с установленным Yoast или Rank Math это обычно /sitemap_index.xml. Без этой строки бот тратит лишние ресурсы на самостоятельный поиск структуры сайта, что критично для проектов с 10 000+ URL, где время полного обхода может составлять от 3 до 14 дней.
Пример: при переезде сайта на новый хостинг с лимитом по CPU, оптимизация robots.txt и четкое указание Sitemap сократили нагрузку на сервер от ботов на 25%, что предотвратило 502-е ошибки в пиковые часы посещаемости.
Экспертный вывод: проверяйте доступность файла sitemap.xml через HTTP-код 200. Если карта отдает 404, а ссылка в robots.txt осталась — вы создаете лишние запросы, которые негативно влияют на Crawl Budget.
Вывод
Идеальный robots.txt для WordPress — это баланс между максимальным ограничением технического мусора и полной доступностью контентных страниц. Начинайте с базового запрета /wp-admin/ и /wp-includes/, затем закрывайте архивы дат и теги. Избегайте использования robots.txt для удаления страниц из индекса (используйте noindex), иначе страница останется в выдаче без сниппета. Мой выбор: ручная правка файла через FTP или менеджер файлов, а не через плагины, чтобы исключить риск случайного перезаписывания правил при обновлении системы.