Noindex — как заблокировать индексацию?

Noindex — как заблокировать индексацию?

Многие люди, начинающие свое приключение с продвижения, похоже, думают, что чем больше страниц в индексе, тем больше преимуществ. Это ошибочное мнение, которое мы можем довольно легко доказать. Ведь мы не хотим предоставлять для администрации страницы, находящиеся на реконструкции и доступные только после авторизации. В следующей статье объясняется, как и почему блокировать сайты в Google.

Что такое тег noindex?

Тег noindex — это размещаемый на веб-сайте элемент, предназначенный для блокировки индексации. Благодаря этому роботы (например, поисковые системы Google) не будут включать указанный URL в свой индекс — подстраница не будет отображаться в результатах поиска. Похожим образом работает файл robots.txt, в котором размещаются URL-адреса, блокирующие доступ роботам поисковых систем.

Google советует блокировать индексацию не только в файле robots.txt, но и путем реализации тега noindex. Тогда страница не будет отображаться в результатах, даже если на нее ведут ссылки.

Как применить тег noindex на странице?

Заблокировать индексацию с помощью noindex очень просто. Откройте исходный код URL в CMS и добавьте в заголовок (раздел ) одно из следующих значений:

  • — для блокировки индексации всех поисковых систем
  • — для блокировки индексации Google.

В некоторых CMS реализован тег noindex и блокировка индексации с помощью специального плагина. Тогда вам не придется вручную заносить значения в исходный код страницы.

Когда использовать блокировку индекса?

Первый случай, когда вам нужно будет использовать блокировку индексации Google — это начало ее создания. Не нужно быть гением, чтобы понять, что публикация страниц без контента или с тестовым контентом (например, lorem ipsum) ни к чему хорошему не приведет. С момента внедрения алгоритма Panda поисковая система Google ценила уникальный контент и то, что действительно полезно для пользователя. Так что наберитесь терпения и оставьте индексирование страницы отключенным до тех пор, пока на странице не появится официальный контент, который вы хотели бы увидеть сами.

Есть шанс, что после публикации корректной версии страницы часть подстраниц просто станет не нужна в поисковой системе Google. Чаще всего речь идет о странице входа в административную панель, страницах товаров, которых нет в наличии, и закрытой части сайта, например закрытых дискуссионных группах на порталах. Суть блокировки индексации заключается в том, как работают роботы Google. А именно учитывают определенное количество обращений в определенное время. У каждого домена есть свой краулинговый бюджет. При его превышении следующие подстраницы будут проиндексированы через некоторое время.

В контексте SEO одной из самых больших угроз является дублирование контента. Хотя его повторение на нашем веб-сайте не является большой проблемой, заимствование контента у других приведет к ухудшению репутации. Если мы скопировали всю статью и хотим ее сохранить, опять же одно из решений — исключение данной подстраницы из индекса. Помните, что когда у нас есть две идентичные или очень похожие версии подстраниц, все копии должны быть помечены как дубликаты с помощью тега ссылки в следующем виде:

Такое решение используется, в том числе, при продвижении веб-сайта , когда проводятся мероприятия по оптимизации.

Подстраницы, которые стоит заблокировать в интернет-магазине

Интернет-магазины регулируются собственными законами. В отличие от обычного блога, портфолио или лендинга, они отличаются гораздо более богатым функционалом. Это создает ненужные подстраницы в результатах поиска. Стоит проверить, индексируем ли мы:

  • формы, побуждающие подписаться на рассылку новостей , отправить комментарий или зарегистрироваться,
  • фильтры категорий, сортировка страниц,
  • политика конфиденциальности, файлы cookie, правила,
  • пагинация, которую можно перенаправить на первую страницу категории,
  • страницы результатов внутреннего поиска,
  • теги , если количество товаров под тегом мало,
  • пустые подстраницы товаров или те, которых не будет в наличии в течение длительного времени.

Как видите, список пунктов довольно длинный. А это значит, что исключение этих элементов из результатов поиска создает много возможностей для улучшения работы робота Google.

без индекса

Как заблокировать индексацию вне тега noindex?

Использование блокировки индекса требует от нас использования одного из двух инструментов: файла .htaccess или плагина, встроенного в систему управления контентом (CMS). Когда мы начинаем создавать веб-сайт, мы можем сделать ставку на глобальную блокировку индексации. Только после завершения работы мы сможем вернуться к нужной настройке. Эта опция доступна в большинстве CMS из административной панели. Если его нет, его часто предоставляет дополнительное расширение или плагин.

Ситуация меняется, когда мы хотим заблокировать одну подстраницу. Для этой цели мы можем использовать до четырех различных методов.

Первый способ — вставить соответствующий код в раздел выбранной подстраницы. Это вышеупомянутый тег noindex.

Аналогично будет работать директива, вставленная в файл robots.txt, который находится в основной директории на нашем сервере (где находится файл index.php). Это второй способ . Мы можем вставить в файл несколько строк:

  • Пользовательский агент: *
  • Запретить: /selected-directory/subpage.php

Третий способ — использовать инструкции PHP. Конечно, мы должны использовать эту технологию, от которой отказываются все больше и больше разработчиков CMS. Тем не менее, если мы все еще используем PHP, мы можем заблокировать роботам доступ к странице, добавив следующий код:

  • header(«X-Robots-Tag: noindex», true);

Последний способ — временное исключение из индекса. Мы можем отправить ваш запрос через Google Search Console. Просто перейдите на вкладку Индекс -> Удаление и отправьте запрос, указав нужный URL.

Часто задаваемые вопросы по блокировке индексации и тегу noindex

Как заблокировать индексацию на сайте?

Блокировку индексации можно реализовать, внедрив тег noindex или добавив соответствующие значения в файл robots.txt.

Как должен выглядеть тег noindex?

Правильно оформленный тег noindex выглядит так: .

Можно ли добавить тег noindex с помощью плагина?

Многие системы CMS позволяют блокировать индексацию с помощью тега noindex с помощью плагина. В случае WordPress такой плагин: «noindex SEO».