[Идеальный аудит сайта] Шаг №6: как проверить сайт на аффилиаты, дубликаты страниц, цикличные ссылки и ошибки

*Публикация написана в рамках цикла статей про “Идеальный аудит сайта”.

После проверки индексации сайта нужно найти и удалить дубли страниц, аффилиаты (склейки нескольких сайтов) и ошибки в коде, базе данных, вёрстке и т.д.

В современном мире веб-разработки и SEO, качество и уникальность контента стали ключевыми факторами успеха. Однако, даже на самых качественных сайтах могут прокрадываться ошибки, которые могут негативно сказаться на рейтинге в поисковых системах. В этой статье мы рассмотрим основные аспекты анализа сайта, начиная от проверки содержания поддоменов и заканчивая поиском потенциально вредоносных циклических страниц.

1. Как провести анализ содержания поддоменов

Анализ содержания поддоменов — это важный этап в оптимизации веб-сайта. Поддомены могут использоваться для различных целей: блогов, магазинов, тестовых версий сайта и т. д. Правильный анализ поможет выявить проблемы и оптимизировать структуру сайта. Вот пошаговое руководство по проведению такого анализа:

• Определение всех поддоменов. Используйте Google Search Console или Screaming Frog, чтобы получить список всех поддоменов вашего сайта.
• Проверка индексации. Убедитесь, что все важные поддомены индексируются поисковыми системами. Если какие-то из них не индексируются, выясните причину.
• Анализ контента. Оцените качество контента на каждом поддомене. Проверьте его на наличие дубликатов, релевантность и актуальность информации.
• Техническая проверка. Проверьте поддомены на наличие технических ошибок: битые ссылки, ошибки 404, проблемы с SSL и т. д.
• Оптимизация SEO. Удостоверьтесь, что каждый поддомен оптимизирован с точки зрения SEO: наличие мета-тегов, оптимизация изображений, правильное использование заголовков и т. д.
• Проверка на наличие вредоносного контента. Google Safe Browsing поможет найти нежелательные элементы в контенте на поддоменах.
• Анализ трафика. Используйте Google Analytics, чтобы понять, какие поддомены приносят больше всего посетителей и конверсий.
• Оценка пользовательского опыта. Проверьте время загрузки страниц, адаптивность дизайна и другие факторы, которые могут влиять на пользовательский опыт.
• Рекомендации и действия. После анализа составьте список рекомендаций и план действий по улучшению каждого поддомена.
• Мониторинг и отчётность. Регулярно проводите анализ, отслеживая изменения и адаптируя свою стратегию в соответствии с полученными данными.

Что такое поддомен для чайников:

2. Как найти дубли страниц на сайте

Нахождение и устранение дублирующихся страниц на вашем сайте — критически важный этап оптимизации для поисковых систем. Дубликаты могут снизить авторитетность вашего сайта и ухудшить позиции в результатах поиска. Вот как вы можете найти и устранить дублирующиеся страницы:

• Специализированные инструменты. Screaming Frog, Semrush и Ahrefs  проведут сканирование сайта и выявят дублирующиеся страницы;
• Google Search Console. Перейдите в раздел «Покрытие» и проверьте наличие дублирующихся URL.
• Поиск в Google. Используйте оператор site: с вашим доменом, например, site:example.com. Обратите внимание на возможные дубликаты.
• Проверка CMS. Некоторые CMS автоматически создают дублирующиеся страницы. Проверьте настройки вашего CMS.
• Проверка параметров URL. Дублирующиеся страницы могут создаваться из-за различных параметров URL.

3. Как найти дублирующийся контент

Дублирующийся контент может негативно сказаться на ранжировании вашего сайта в поисковых системах, поскольку он вводит в заблуждение поисковые алгоритмы. Вот несколько методов, как вы можете найти дублирующийся контент на вашем сайте:

• Специализированные инструменты: Copyscape и Siteliner выявят дублирующийся контент на сайте и в интернете.
• SEO-инструменты: Screaming Frog, Ahrefs и Semrush предоставляют отчёты о дублирующемся контенте на сайте.
• Поиск в Google. Вы можете вставить фрагменты вашего контента в кавычки и выполнить поиск в Google, чтобы увидеть, где ещё этот контент может появляться.
• Проверка CMS. Некоторые системы управления контентом (CMS) имеют встроенные инструменты или плагины для выявления дублирующегося контента.
• Проверка параметров URL. Иногда дублирующийся контент может появляться из-за различных параметров URL, например, фильтров или сортировки.
• Используйте онлайн-сервисы. Существуют различные онлайн-сервисы, которые помогут проверить уникальность контента.

4. Как найти пустые страницы

Пустые страницы, особенно те, которые имеют отсутствующие или пустые теги TITLE, могут стать проблемой для SEO вашего сайта. Тег TITLE играет важную роль в определении релевантности страницы для поисковых систем, и его отсутствие может снизить видимость страницы в результатах поиска. Вот как вы можете найти пустые страницы на вашем сайте:

• SEO-инструменты: Screaming Frog, Semrush и Ahrefs сканируют сайт и предоставляют отчёты о страницах с отсутствующими или пустыми тегами TITLE;
• Google Search Console. В разделе «Покрытие» вы можете увидеть страницы с ошибками, включая те, которые имеют проблемы с тегами TITLE.
• Проверка CMS. Некоторые системы управления контентом (CMS) предоставляют инструменты или плагины для анализа тегов TITLE на сайте.
• Ручная проверка. Хотя это может быть трудоёмким, вы можете вручную просмотреть ключевые страницы сайта, чтобы убедиться, что у них есть соответствующие теги TITLE.

5. Как найти ошибку страницы

Ошибки на страницах сайта могут негативно сказаться на пользовательском опыте и ранжировании в поисковых системах. Они могут возникать по различным причинам: проблемы с CMS, базой данных, кодировкой, вёрсткой, скриптами и другими техническими аспектами. Вот несколько методов, как вы можете найти и устранить страницы с ошибками:

• Инструменты для вебмастеров. Google Search Console и Bing Webmaster Tools позволяют увидеть список страниц с ошибками, которые были обнаружены при сканировании сайта;
• SEO-инструменты: Screaming Frog, Ahrefs и Semrush сканируют сайт и выдают отчёт о страницах с различными ошибками: 404, 500 и т.д.
  Проверка кода.W3C Validator — проверяет HTML и CSS сайта на наличие ошибок и предоставляет рекомендации по их исправлению. JavaScript Console — встроенная в большинство браузеров консоль выявляет ошибки JavaScript на страницах.
• Тестирование на разных устройствах и браузерах. Используйте BrowserStack или CrossBrowserTesting, чтобы проверить, как ваш сайт отображается и функционирует на различных устройствах и браузерах.
• Мониторинг сервера. Инструменты мониторинга сервера New Relic или Datadog выявят проблемы на уровне сервера, которые могут вызывать ошибки на страницах.

6. Как найти циклические (бесконечные) страницы

Циклические или бесконечные страницы могут создавать проблемы для поисковых роботов, пользователей и ресурсов сервера. Вот несколько способов, как можно обнаружить и предотвратить создание таких страниц:

• Анализ логов сервера. Проверьте логи вашего веб-сервера на наличие повторяющихся запросов к определённым страницам или паттернов URL. Если вы видите, что одна и та же страница или группа страниц запрашивается снова и снова, это может указывать на циклические ссылки.
• Инструменты для вебмастеров. Используйте Google Search Console, чтобы проверить, не сталкиваются ли поисковые роботы с проблемами при индексации вашего сайта из-за циклических страниц.
• Специализированные инструменты. Существуют инструменты и программы, которые могут автоматически обходить ваш сайт и искать циклические ссылки. Они могут помочь вам быстро обнаружить проблемные области.
• Ручная проверка. Периодически проверяйте свой сайт вручную, особенно после внесения изменений или установки новых модулей. Попробуйте перейти на несколько страниц вглубь по определённым путям, чтобы убедиться, что вы не застряли в бесконечном цикле.
• Ограничение глубины. Для модулей, таких как календарь, установите ограничение на глубину страниц. Например, позвольте пользователям просматривать даты только на 10 лет вперёд и назад.
• Используйте теги «nofollow« и «noindex». Если у вас есть страницы, которые вы не хотите индексировать или которые не должны передавать «сок» ссылок, используйте теги «nofollow« и «noindex» для предотвращения индексации и передачи веса ссылки.
• Обратная связь от пользователей. Ваши пользователи могут быть первыми, кто столкнётся с проблемой циклических страниц. Предоставьте им возможность легко сообщать о проблемах на сайте.
• Тестирование после изменений. Всегда тестируйте свой сайт после внесения любых изменений, особенно если вы добавляете новые функции или модули.

7. Как проверить сайт на аффилиаты, зеркала и тестовые поддомены

Проверка сайта на наличие аффилиатов, зеркал и тестовых поддоменов может быть важной частью аудита безопасности и SEO. Вот несколько шагов, которые вы можете предпринять, чтобы проверить ваш сайт:

• Поиск в Google. Введите site:yourdomain.com в Google, чтобы увидеть все индексированные страницы вашего домена. Это может помочь обнаружить неожиданные поддомены или страницы. Используйте операторы поиска, такие как -inurl:www для исключения основного домена и выявления поддоменов.
• Инструменты для вебмастеров. Используйте Google Search Console или аналогичные инструменты для просмотра всех индексированных страниц и поддоменов вашего сайта.
• Специализированные инструменты. Screaming Frog или SEMrush предоставят детальный отчёт о всех внутренних и внешних ссылках.
• Проверка DNS. Используйте DNSdumpster или Sublist3r, чтобы найти поддомены, связанные с вашим основным доменом.
• Поиск аффилиатских ссылок. Проанализируйте исходный код вашего сайта на наличие аффилиатских идентификаторов или URL. Многие аффилиатские программы используют уникальные идентификаторы в URL.
• Проверка на зеркала. Используйте Siteliner или Copyscape, чтобы проверить, не дублируется ли контент вашего сайта на других доменах.
• Ручная проверка. Периодически проверяйте свой сайт вручную, особенно после внесения изменений или установки новых модулей. Попробуйте перейти на несколько страниц вглубь по определённым путям, чтобы убедиться, что вы не столкнулись с неожиданными редиректами или ссылками.
• Обратная связь от пользователей. Ваши пользователи могут быть первыми, кто столкнётся с проблемой зеркальных или тестовых поддоменов. Предоставьте им возможность легко сообщать о проблемах на сайте.
• Проверка на тестовые поддомены. Тестовые поддомены часто содержат слова, такие как «test», «dev» или «staging». Поиск в Google с использованием этих ключевых слов в сочетании с вашим доменом может помочь их обнаружить.

Помимо вышеуказанных методов, регулярное мониторинг и аудит вашего сайта помогут обнаружить и устранить любые неожиданные или нежелательные ссылки, поддомены или зеркала.

Итог

Проведение анализа поддоменов, поиск дублирующихся страниц и контента, проверка наличия пустых страниц и прочие этапы, описанные выше, являются важными шагами в оптимизации сайта. Эти меры помогают обеспечить идеальное функционирование и качество веб-проекта, повысить его релевантность для поисковых систем, улучшить опыт пользователей и избежать проблем, связанных со спамом, вирусами или ненужным контентом. Проводя подобные проверки на регулярной основе, вы сможете поддерживать сайт в оптимальном состоянии и добиться его успешного продвижения.

Следующий шаг идеального аудита сайта  — это региональность.

Как поднять сайт в топ: рекомендации от SEO-агентства «Оптимизм»

Как найти поддомены

• Первый и самый простой метод — использование поисковых систем. Введя запрос «site:домен.com -www» в Google или «Яндекс», вы получите результаты, в которых отображаются поддомены данного домена, исключая основной поддомен «www».
• Для более глубокого исследования можно воспользоваться специализированными инструментами и сервисами. Программы и онлайн-инструменты DNSDumpster, Sublist3r или Censys.io предназначены специально для поиска и анализа поддоменов. Эти инструменты обычно предоставляют более широкий набор данных по сравнению с традиционными поисковыми системами.
• Также полезными могут оказаться сервисы проверки DNS, например, «mxtoolbox». Они позволяют просматривать DNS записи домена и выявлять связанные с ним поддомены.
• Не стоит забывать и о прямом анализе сайта: исходный код страниц и
  карта сайта (sitemap) могут содержать ссылки на поддомены, которые иногда упускаются другими методами.
• Наконец, для профессионалов в области безопасности и исследователей существуют платформы OSINT (сбор разведданных в открытых источниках) — Shodan или theHarvester. Они предоставляют обширные возможности для поиска и анализа поддоменов.

Убираем дубли страниц

• Если две или более страниц содержат похожий или идентичный контент, но вам необходимо сохранить обе страницы, используйте тег rel=”canonical”. Этот тег указывает поисковым системам, какая страница является предпочтительной или «основной», и следует ли её индексировать.
• Если одна из страниц является избыточной и вы хотите перенаправить трафик с неё на другую страницу, настройте 301 редирект. Это постоянное перенаправление сообщает поисковым системам о том, что страница была перемещена.
• В инструментах вебмастера, таких как Google Search Console, можно указать, какие параметры URL не следует учитывать при индексации. Это поможет, если дубли создаются из-за различных параметров — сортировки или фильтрации.
• Иногда дубли могут возникать из-за CMS или других настроек сайта. Убедитесь, что у вас нет страниц, которые генерируются автоматически с одинаковым или очень похожим контентом.
• В файле robots.txt можно указать поисковым роботам, чтобы они не индексировали определённые страницы или разделы сайта.
• Инструменты и плагины для CMS, например, для WordPress, могут помочь вам отслеживать и удалять дублированный контент.

Как удалить пустую страницу

• Войдите в административную панель вашего сайта или CMS. Для WordPress это, например, домен.com/wp-admin.
• Найдите раздел управления страницами. В зависимости от вашей CMS он может называться «Страницы», «Материалы», «Публикации» или как-то иначе.
  Найдите пустую страницу, которую вы хотите удалить. Обычно страницы можно просматривать в списке, и у каждой страницы должны быть опции редактирования или удаления.
• Выберите опцию «Удалить» или аналогичную. Подтвердите своё действие, если система запросит подтверждение.
• После удаления страницы рекомендуется настроить 301 редирект. Для чего это нужно? Если у кого-то сохранилась ссылка на удалённую страницу, посетитель был бы автоматически перенаправлен на другую, релевантную страницу на вашем сайте. Это также полезно для SEO, чтобы сохранить «сок страницы».
• Проверьте сайт. Удостоверьтесь, что пустая страница действительно была удалена и что не возникает ошибок при попытке перейти по ее URL.

Циклическое перенаправление на странице. Что с ним делать?

Циклическое перенаправление, также известное как «бесконечный редирект», происходит, когда страница перенаправляет на другую страницу, которая в свою очередь возвращает обратно на первую страницу, создавая бесконечный цикл. Это вызывает проблемы с индексацией для поисковых роботов и предоставить плохой опыт для пользователей. Вот что вы можете сделать, чтобы устранить эту проблему:

• Используйте Redirect Path (расширение для браузера) или онлайн-сервисы для проверки перенаправлений, чтобы узнать, где именно возникает циклическое перенаправление.
• В зависимости от того, какой у вас веб-сервер, проверьте файлы конфигурации на наличие правил перенаправления. Убедитесь, что правила не конфликтуют друг с другом.
• Некоторые плагины или расширения CMS могут автоматически создавать перенаправления. Если после установки или обновления плагина возникла проблема, попробуйте его отключить.
• Некоторые системы управления контентом позволяют задавать перенаправления на уровне интерфейса. Проверьте, нет ли там конфликтующих правил.
• Иногда проблема может возникнуть из-за устаревших кэшированных версий страниц. Попробуйте очистить кэш на вашем сайте и в браузере.
• Если вы используете сторонние сервисы для управления перенаправлениями или для других функций, убедитесь, что они не являются источником проблемы.
• Если все вышеперечисленные методы не помогли, начните логирование процесса перенаправления, чтобы увидеть, на каком этапе происходит зацикливание.

Что такое аффилиат-фильтр Яндекса?

Скриншот из исследования “SEO Альманах. Все факторы ранжирования поисковых систем”:

Зеркала — это сайты копии или частичные копии вашего сайта, которые находятся под другим адресом. Более подробно о том, что это такое в видео ниже: 

Сконцентрируем, что входит в данный в 6 этап:

• Анализ содержания поддоменов.
• Поиск дублирующихся страниц.
• Поиск дублирующегося контента.
• Поиск пустых страниц.
• Поиск страниц с ошибками.
• Проверка на аффилиаты.
• Проверка сайта на наличие зеркал.
• Поиск тестовых доменов и других копий сайта в индекса.
• Поиск циклических (бесконечных) страниц.

Теги публикации: seo, seo-аналитика, анализ проекта, аудит сайта, аффилиаты, дубли, идеальный аудит сайта, лайфхак, ошибки оптимизации сайта, полезные советы