В WordPress часто возникает задача контролировать индексацию страниц поисковыми системами. Особенно если на сайте много страниц с одинаковым или неуникальным контентом, архивов, категорий, тегов, страниц авторов и т.д. В таких случаях важно правильно настроить тег <meta name="robots">, чтобы поисковики не индексировали лишние страницы и не снижали ранжирование из-за дублированного контента.
Почему важно управлять meta robots в WordPress
Поисковые системы, такие как Google, используют мета-тег robots для понимания, какие страницы следует индексировать, а какие нет. Если оставить все страницы открытыми для индексации, можно получить:
- Проблемы с дублированием контента;
- Снижение эффективности SEO;
- Индексацию страниц с техническим или служебным контентом;
- Расход бюджета сканирования на неважные страницы.
Правильная настройка этого тега помогает направить поисковых роботов только на те страницы, которые действительно важны.
Как WordPress по умолчанию добавляет meta robots
В стандартном шаблоне WordPress в <head> обычно нет тега meta robots, кроме случаев, когда включена опция "Скрыть сайт от поисковых систем" в настройках "Чтение". Тогда WordPress добавляет noindex, nofollow ко всему сайту.
Для более гибкого управления часто используют SEO-плагины (Yoast SEO, Rank Math, All in One SEO), которые позволяют настраивать meta robots для каждой страницы, типа записи, архивов и т.д.
Как программно удалить или изменить meta robots в WordPress
Если вы не хотите использовать SEO-плагины, можно управлять тегом meta robots с помощью функций в теме или собственном плагине. Рассмотрим, как это сделать.
Удаление meta robots, добавляемого SEO-плагином
Если SEO-плагин добавляет тег, его можно убрать так:
remove_action('wp_head', 'wpseo_robots'); // для Yoast SEO
remove_action('wp_head', 'rank_math_robots'); // для Rank MathЭти функции надо добавить в файл functions.php вашей темы или в плагин.
Добавление или изменение meta robots вручную
Создадим функцию wpguest_meta_robots, которая будет выводить нужный тег в зависимости от типа страницы.
function wpguest_meta_robots() {
if (is_front_page() || is_home()) {
echo '<meta name="robots" content="index, follow">';
} elseif (is_singular('post')) {
echo '<meta name="robots" content="index, follow">';
} elseif (is_category() || is_tag() || is_tax()) {
// Для таксономий лучше запретить индексацию, чтобы избежать дублирования
echo '<meta name="robots" content="noindex, follow">';
} elseif (is_author()) {
// Если на сайте много авторов, страницы авторов лучше закрыть
echo '<meta name="robots" content="noindex, nofollow">';
} elseif (is_search()) {
echo '<meta name="robots" content="noindex, nofollow">';
} else {
echo '<meta name="robots" content="index, follow">';
}
}
add_action('wp_head', 'wpguest_meta_robots', 1);В этом примере мы:
- Разрешаем индексацию главной и постов;
- Закрываем таксономии и поисковые страницы;
- Закрываем страницы авторов с параметром
noindex, nofollow; - Для остальных страниц разрешаем индексацию.
Использование плагина Clearfy для управления meta robots
Плагин Clearfy позволяет удобно управлять SEO-настройками, включая meta robots без написания кода.
В Clearfy вы можете:
- Отключить индексацию страниц архива, категорий, тегов;
- Закрыть страницы авторов;
- Настроить правила для разных типов страниц;
- Оптимизировать сайт для поисковых систем и ускорить загрузку за счет отключения лишних метатегов.
Такой подход будет полезен, если вы хотите быстро и без риска ошибиться настроить индексацию.
Как проверить, что meta robots работает правильно
После внесения изменений важно проверить, что тег meta robots выводится корректно. Для этого:
- Откройте исходный код страницы (Ctrl+U или Cmd+U в браузере) и найдите
<meta name="robots">; - Проверьте разные типы страниц (посты, архивы, авторы, поиск);
- Используйте инструменты для вебмастеров (Google Search Console) — там можно увидеть, как Google видит ваш сайт;
- Примените плагин Clearfy, который покажет статус SEO-параметров.
Дополнительные рекомендации по управлению индексированием
Кроме meta robots, полезно использовать файл robots.txt для блокировки неважных разделов сайта, например:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /?s=
Disallow: /author/
Disallow: /tag/
Disallow: /category/
Однако robots.txt не заменяет meta robots — это разные инструменты.
Еще один совет — не закрывайте от индексации страницы с важным уникальным контентом и не используйте noindex на страницах, которые приносят трафик.
Итог
Управление тегом meta robots — важная часть технического SEO для WordPress. С помощью кода, приведенного выше, или плагина Clearfy вы сможете настроить индексацию под себя, защитить сайт от дублирования и повысить качество SEO.