Когда и как нужно закрывать сайт от индексации поисковыми системами

Индексация веб-сайта поисковыми роботами — процедура, направленная на сканирование сайта, обработку информации и добавление сведений о ресурсе в специальную базу для дальнейшего ранжирования в поисковой выдаче. Благодаря этим действиям интернет-магазины, информационные, игровые и другие порталы становятся доступными и видимыми для посетителей и потенциальных клиентов. Но иногда или его отдельные страницы нуждаются в закрытии от индексации. Попытаемся разобраться, когда в таких манипуляциях возникает необходимость и как это происходит.

Чему нежелательно попадать под индекс

Далеко не всегда целевой аудитории необходимо видеть все информационные сведения, содержащиеся на сайте. Чтобы ресурс пользовался популярностью, давал ответы на конкретные вопросы, был интересен пользователю, важен показ в поисковиках только целевых страниц, которые соответствуют запросам. Поэтому малоинтересные, неинформативные для посетителей страницы, не требующие индексирования, закрываются. Учитывая специфику CMS, можно избежать индекса следующих компонентов сайта:

• страничек для администраторов;
• страниц с персональными, пользовательскими данными;
• задублированных страничек, зеркал;
• регистрационных форм;
• корзин;
• RSS-лент;
• страниц с контентом, не являющимся актуальным;
• медиа-наполнения сайта;
• поисковых страничек и т.д.

Также в закрытии от поисковых систем нуждаются страницы с нерелевантным информационным наполнением, находящимся ещё на этапе разработки или скопированным из интернета для создания общей картинки нового сайта. Корпоративные ресурсы, предназначенные исключительно для администраторов, также закрываются от индексации, наравне с сайтами-аффилиатами.

Посмотреть, закрыта ли конкретная страница от индексации поисковиков, можно в сервисе Яндекс.Вебмастер, воспользовавшись инструментами и выбрав «Проверка ответа сервера», куда вставляется адрес ссылки, или же использовать Инструмент проверки URL в Google Search Console. В качестве альтернативного варианта можно использовать сторонние специальные программы либо сервисы (например, RDS Bar), показывающие многочисленные СЕО-характеристики.

Добавление мета-тегов в HTML-код каждой страницы, которую необходимо закрыть

Поставить запрет на страничную индексацию поисковиками можно, добавив мета-тег robots в контейнере head, находящимся в HTML-коде. Указываемые команды выглядят так:

• index — отменяет все существующие запреты на индексацию;
• noindex — запрещается индексация всего наполнения, кроме ссылок;
• follow — разрешает поисковику переходить по ссылкам;
• nofollow — запрещает роботу переходить по ссылкам на странице;
• all — совмещает директивы follow и index, разрешается анализ всего содержимого страницы.

Закрыть сайт либо отдельные страничные модули можно для роботов определённых поисковых систем, для чего надо изменить значение атрибута name на название необходимого робота (yandex, googlebot).

Конфигурируем файл .htaccess

Решить проблему можно и на серверном уровне, если поисковики систематично игнорируют запреты, созданные вышеописанными способами. Ограничение анализа (индекса) осуществляется для отдельных роботов.

Корректность работы сайта напрямую зависит от применения редиректов. Требуемые переадресации прописываются в файле .htaccess. К кодировке страницы дополнительно добавляется редирект JS, HTML, PHP. Это позволяет перенаправлять пользователей с одного адреса на другой, если сайт утратил актуальность или создано зеркало без лишних индексаций на новом домене. Это не нарушает требований поисковых систем. Все показатели старых страниц сохраняются, а сайт закрывается от индексации. Такой вариант незаменим при изменении структуры ресурса.

Чтобы ограничить индексацию для поисковой системы Гугл, прописывается специальный код SetEnvIfNoCase User-Agent “^Googlebot” search_bot. Аналогично выглядит запрос и для Яндекса, только вместо «googlebot» указывается «Yandex».

Однако данный вариант актуален только для владельцев серверов на Apache.

Изменения на WordPress и использование плагинов

Если платформа базируется на CMS, ресурс вполне реально полностью закрыть для индексации поисковиками. Реализовать это можно перейдя в администраторскую панель, затем зайдя в настойки и выбрав пункт «Чтение». После чего нажимается кнопка с запросом к поисковикам проиндексировать сайт. Изменения сохраняются. Далее происходит редактирование файла robots.txt.

Некоторые странички можно закрыть, воспользовавшись плагином Yoast SEO. Для введения ограничений необходимо открыть страницу под изменение, прокрутить до наименования программы, настроить индексированный режим, нажав пункт «Дополнительно».

Аналогично сайт закрывается на WordPress через известный уже нам файл robots.txt. В ходе настройки параллельно ставится запрет на индекс рассылочных страниц, административной панели, шаблонных анкет с доставкой и прочего. Не сделав этого, можно неумышленно снизить ранжирование сайта, так как интернет заполнится нежелательной информацией, которую следует знать только администраторам или клиентам.

Закрываем сайт при помощи директив в файле robots.txt

Закрыть сайт или отдельные страницы от роботов поисковиков помогает текстовый документ robots.txt. Он посещается краулерами первоочередно, так как именно в нем записываются команды.

Документ должен соответствовать нескольким рекомендациям по содержанию: название с маленькой буквы, формат — txt, размер не больше 500 килобайт, нахождение в коневом каталоге сайта, доступность для роботов поисковых систем. В robots.txt прописывают user-agent, disallow, allow, sitemap, clean-param, crawl-delay. Так как прописанные директивы носят рекомендательный характер, некоторые поисковые системы могут их игнорировать, что следует учитывать при выборе такого способа закрытия сайтов от индексации. Если они будут проигнорированы, то индекс будет распространён на все в этом случае стоит использовать другой способ для закрытия сайта или его страниц, например с помощью мета-тега  name=”robots”.