Обнаружение - 3 составляющих SEO (часть 1)

В эру поисковых машин, SEO может быть сведено к 3 основным элементам или функциям: время на обследование сайта (обнаружение), время на индексацию (куда также входит и фильтрация), и время на ранжирование (алгоритмы).


Сегодня первая часть из трех, мы поговорим про обнаружение сайта поисковыми машинами.

Сведение SEO к этим основным элементам позволяет SEOшникам создать своего рода шаблон для работы над продвижением в поисковиках. Применяя этот шаблон можно не углубляться в специфику и тонкости действий в данном шаблоне.

И иногда это нам на руку, так как поисковые машины - это сверхсекретные монстры... роботы-монстры.

SEO приоритеты

Обнаружение — Индексация — Ранжирование

Этот тезис основан на следующих предположениях:

  • Googlebot (или бот любого другого поисковика) заходит на страницы для чтения информации. Это всегда будет так, по крайней мере до тех пор, пока Google не научится осмосу.
  • Google, основываясь на информации, полученной во время процесса обнаружения, выделяет и анализирует URL в режиме реального времени для того, чтобы принять решения об индексации.
  • Основываясь на две вышеперечисленные ступени действий, происходит процесс ранжирования, обычно он очень точен.
  • Процесс повторяется.

Поисковики исследуют, индексируют и ранжируют веб-страницы. Поэтому SEOшники должны основывать все свои тактики на этих шагах поисковиков. Вот те простые выводы, которые будут полезны SEOшникам, вне зависимости от конкуренции в нише:

  • Все дело в обнаружении страницы
  • Все дело в индексации
  • Все дело в ранжировании

Но конечно, Google как и все другие поисковики существуют с одной целью — развить бизнес, удовлетворяя потребности пользователей. Поэтому, мы должны постоянно помнить следующее:

  • Все крутиться вокруг пользователей

И конечно же, так как по своей природе SEO — это соревнование, в котором для выхода в топ выдачи нужно победить своих конкурентов, мы должны заметить следующее:

  • Все дело в конкуренции

Учитывая все вышесказанное, мы можем вывести несколько SEO тактик для каждой из фаз работы поисковика.

Процесс обнаружения страниц

SEO начинается с исследования того, как поисковый бот обнаруживает страницы. Googlebot, например, исследуя наш сайт, видит все детали, которые записываются в логи. Эти несут следующую информацию:

Специальные скрипты (AudetteMedia's logfilt), которые помогают быстро разобрать множество таких логов, используются в разных ситуациях:

Процесс обнаружения страниц

На уровне корпорации существует такой инструмент для анализа как http://www.splunk.com/, который может разобрать всю информацию по user-agent, сортируя ее по коду-статусу сервера, времени и дате:

информация по user-agent

Использование Splunk при проведении исследования модели поведения робота Google

Xenu – это полноценное приложение, которое предоставляет полнейшую информацию о посещении сайта поисковым ботом. Приложение работает с более чем 10 000 страницами, поэтому его лучше использовать на корпоративном уровне. Вот несколько советов по работе с Xenu или подобными:

  • Загрузить домен или часть сайта на SEMrush
  • Экспортировать все данные по запросам в CSV
  • Загрузить этот файл в Xenu или другое приложение
  • Отсортировать по коду

Эта быстрая и простая методика помогает найти такие коды как 302 и другие.

В Google Webmaster Tools также есть полезная для SEOшников информация по обнаружению страницы, дубликатам контента и частоте захождения бота на сайт:

Google предоставляет информацию о сканировании для вебмастеров

Google предоставляет достаточно подробную информацию о деятельности вебмастеров

Существуют также и другие инструменты, с помощью которых вы можете посмотреть на страницы сайта глазами поискового бота (например Lynx и SEO Browser ).

Charles предоставляет отличную информацию

SEO – это действия

Самое главное в SEO - это точная информация, но еще важнее то, что и как можно поделать с этой информацией. Все дело в том, как вы интерпретируете данную информацию, а не то, как вы ее достанете.

Подвергая SEO работу систематизации, сообразительные SEOшники делают шаблон действий или методов, основываясь на теорию обнаружения, индексации и ранжирования, что впоследствии приводит их сайты прямиком в топы поисковой выдачи.

Источник: Crawl, Index, Rank, Repeat: A Tactical SEO Framework

Перевод: SEOM.info