Индексация сайта - 3 составляющих SEO (часть 2)

В прошлый раз в серии из трех статей мы познакомились с первой статьей, где рассмотрели первую стадию работы поисковика: обнаружение сайта. Также мы рассмотрели возможные методы работы SEOшника с каждой из стадий.

Перед тем как продолжить, я считаю, что будет целесообразным освежить в памяти о чем шла речь в первой статье:

Поисковик обнаруживает, индексирует и ранжирует веб-страницы. SEOшники должны основывать свои тактики продвижения на этих трех стадиях работы поисковика. Поэтому были сделаны следующие выводы:

  • Все дело в обнаружении страницы
  • Все дело в индексации.
  • Все дело в ранжировании.

Но конечно же, Google как и любой другой поисковик существуют с одной целью — построить и развить бизнес, удовлетворяя потребности пользователей. Поэтому мы должны постоянно помнить следующее:

  • Все дело в пользователях.

Зная все вышесказанное, мы можем разработать несколько методов продвижения на каждую из фаз работы поисковика, что в конце может привести к единой SEO стратегии.

Индексация сайта

Индексация является следующим шагом после обнаружения страницы. Выявление дубликатов контента является главной функцией данного шага работы поисковика. Возможно не будет преувеличением, если я скажу, что все крупные сайты имеют не уникальный контент хотя и на международном уровне.

Интернет-магазины могут иметь одинаковый контент в виде одних и тех же товаров. Об этом мы с точностью можем заявить, имея большой опыт работы с такими продавцами как Zappos и Charming Shoppes.

Еще больше проблем с новостными порталами известных газетных изданий и публикаций. Маршалл Симондс и его команда, работая над The New York Times и другими изданиями, ежедневно сталкиваются с дубликатами контента, что является основной SEO работой.

К сайту никогда не будут специально применяться санкции, если на его страницах имеются дубликаты контента. Но существуют фильтры, которые способны отличать одинаковый или слегка измененный контент на множестве страниц. Эта проблема является одной из главных для SEO.

Дубликаты также повлияют на видимость сайта, поэтому нужно свести количество дубликатов к нулю. Различные версии одного и того же контента в индексе поисковика тоже не лучший результат оптимизации.

Мэтт Каттс, в своем интервью с Эриком Энгем, подтвердил существование "crawl cap" (колпак видимости сайта), который зависит от PR сайта (не тулбарного PR) и рассказал о том, какие проблемы могут появиться из-за дубликатов контента:

Представьте, если мы сканируем три страницы сайта, а затем узнаем, что две из них являются копиями третьей. Мы выбрасываем эти две страницы и оставляем только одну и поэтому получается, что сайт имеет гораздо меньше хорошего контента... Но чем больше PR, тем больше шансов, что страницы не исчезнут из поиска...

Полная версия интервью с Мэттом Каттсом включает полнейшую информацию для любого серьезного SEOшника по проблеме дубликатов контента. Хотя и большинство, что вы услышите там будет не новостью, но подтвердить некоторые догадки и решения, с которыми мы сталкиваемся ежедневно, будет не лишним.

Ссылки, особенно с сайтов с отличной структурой, с релевантных и высококачественных страниц не только улучшат индексирование сайта, но и улучшат его видимость.

Определение уровня "проникновения" поисковика в сайт, "колпака видимости сайта", количества дубликатов контента, а затем их устранение, улучшит как видимость сайта в глазах поисковика, так и индексацию сайта.

Как определить качество индексации вашего сайта?

Существует несколько отличных способов узнать это:

  • Анализ логов или анализ количества трафика по URL. Составив график по этим данным вы увидите, какие из частей сайта не нравятся поисковикам. А это и укажет на проблемы индексации.
  • Анализ внутренней перелинковки сайта. Какие из частей сайта имеют меньше всего внутренних ссылок? Какие из частей сайта расположены в 6-7 кликах от главной страницы?
  • Использование таких запросов как: site:jcrew.com inurl:72977 выявит дубликаты страницы. Самыми худшими дубликатами для интернет-магазинов являются дубликаты страниц с описанием товаров. Используйте похожие запросы в поиске: intitle и allintitle.
  • Использование "rel=canonical" для объединения дубликатов и их сведения к главной версии контента. Но будьте осторожны, так как не правильное использование "rel=canonical" может навредить вашему сайту.
  • Дайте Google и Yahoo (через панели вебмастеров) знать, что в поиске появляются дубликаты контента и во время следующего посещения сайта их можно не учитывать.
  • Используйте robots.txt для запрета индексации ненужных страниц и контента, который не предназначен для поисковиков. Кроме этого, для запрета индексации некоторых частей страницы вы можете использовать тег meta robots и noindex.
  • Использование XML карт сайта и Google Webmaster Tools для сравнения индексации по вертикали. (Google покажет проблемы в индексации URL для предложенной карты сайта).

Использование XML карт сайта и Google Webmaster Tools для сравнения индексации по вертикали

Количество дубликатов и результаты поисковой выдачи

Проблема количества дубликатов для SEO очень сложна и требует отдельного рассмотрения. Если коротко, то проблему дубликатов можно решить использованием "rel=canonical" и стандартного "View All page" на страницах, которые служат главной.

Результаты поисковой выдачи — другая уникальная ситуация. Для управления этими результатами существует много способов.

Одним из хороших способов управления результатами поиска на сайте является канонизация этих результатов к определенной поисковой странице, которую потом сводят к качественной странице с контекстными и полезными ссылками. Это конечно не лучший выход из ситуации и использовать его лучше для поисковых страниц, которые не являются основой навигации сайта.

Выявление проблем индексации URL

Во время выявления проблем индексации сайта, любые "слабости" структуры URL страниц сайта всплывут наружу. Особенно это касается сайтов корпоративного уровня, где вы столкнетесь со всеми видами неожиданных результатов в индексе поисковика.

Эти проблемы возникают, когда у сайта появляется множество различных видов пользователей и членов администрации. Конечно же мы сами часто совершаем ошибки, SEO – не является решением всех проблем.

Индексация сайта является главным компонентом видимости сайта, индекса, ранжирования и обычно является главным объектом внимания SEOшников. Как следует почистите индекс вашего сайта и насладитесь эффективностью сканирования, скоростью индексации вашего сайта.

Оставайтесь с нами, так как будет еще и третья, заключительная статья из этой серии.

Источник: Crawl, Index, Rank, Repeat: A Tactical SEO Framework (Part 2)

Перевод: SEOM.info