Индексация страниц сайта


Индексация страниц сайта — это очень важный момент в продвижении любой интернет-площадки. Ведь каким бы ни был отличным контент, как бы хорошо мы его ни оптимизировали, если он не добавлен в базы поисковых машин, то и продвигать нам будет нечего.

Любой контент-менеджер понимает, что толка от непроиндексированного поисковыми системами контента очень мало, потому нужно иногда проводить работу по ускорению его индексации.


Как осуществляется индексация страниц сайта



При индексации поисковый робот заходит на сайт и «фотографирует» информацию на страницах. Обратите внимание, мы не говорим «фотографирует» текст, потому что робот индексирует абсолютно всё: текст, картинки, ссылки, таблицы, графики, кнопки и те данные, которые не видны пользователям, например, метатеги.

В Google индексация осуществляется очень быстро, а вот Яндекс в этом отношении — настоящий тугодум. На некоторые сайты поисковый робот Яндекса заходит каждый час, на других может не появляться и неделю, и месяц — всё зависит от авторитетности сайта, а также от частоты обновления информации на конкретных страницах (например, в новостных сайтах главная страница переиндексируется чаще). Новые же сайты могут ждать роботов Яндекса месяцами.

Если какой-то сайт раньше обновлялся редко, а потом на него вдруг стали добавлять информацию регулярно, это не означает, что поисковый робот начнёт тут же чаще индексировать страницы. Должно пройти какое-то время, прежде чем робот «привыкнет» к регулярному добавлению контента и станет посещать ресурс чаще.

На ресурсах, которые не пользуются особой благосклонностью поисковых роботов, вебмастера проводят мероприятия по ускорению индексации страниц, «вручную» «приглашая» их на сайты. Но дело даже не только в том, что нам нужно быстрее добавить страницу в выдачу поисковых систем, чтобы получить на них трафик и заработать на сайте. Есть еще одна очень большая проблема, требующая быстрых действий.


Зачем нужна быстрая индексация страниц



Бывает, что контент-менеджер добавляет на страницу какой-то материал, который тут же, до его индексации на сайте, копипастят на другой, быстрее индексируемый, ресурс.

Тогда первоисточником информации в глазах поисковиков будет тот сайт, на котором эта контент был проиндексирован раньше.


Как указать свой сайт первоисточником контента



В сервисе Яндекс.Веб-мастер существует вкладка «Оригинальные тексты»

http://webmaster.yandex.ru/content/


На этой странице нужно в форму добавить текст, который собираетесь разместить на своем сайте. Поскольку в аккаунте Яндекс.Веб- мастера идёт привязка к конкретному ресурсу, то авторство текста, добавленного вами в форму, автоматически привяжется к нужной вам площадке.

Контент-менеджер может сам зарегистрироваться в Яндекс.Вебмастере и добавить туда сайты, с которыми приходится работать. Но чаще доступ к аккаунту контент-менеджеру выдает владелец сайта.


Как узнать, проиндексирована ли страница сайта



Индексация страниц сайта


Мы уже много говорили об индексации, но пока так и не уточнили, как узнать, проиндексирована ли страница поисковыми роботами. Проверить это можно несколькими способами:

Введите URL страницы в поисковую строку Яндекса или Google в виде:

url:www.site.ru/nazvanie/ | url:site.ru/nazvanie/ — для Яндекса inforwww.site.ru/nazvanie/ или inforsite.ru/nazvanie/ — для Google


Обратите внимание, что для Яндекса прописывается как url с «www», так и без «www» через спецсимвол «|». Это делается, поскольку Яндекс воспринимает www.site.ru/nazvanie/ и site.ru/nazvanie/ двумя разными страницами (одна является «зеркалом» другой). Так что нужно подстраховаться на случай, если неправильно настроена переадресация на сайте со страницы с «www» на страницу без «www» (или наоборот).

Переадресация обычно обязана быть настроена при разработке сайта веб-мастером, но некоторые специалисты об этом забывают. Следовательно, только введя обе страницы в поисковую строку, мы наверняка узнаем, проиндексирована ли она поисковым роботом.

Итак, если страница проиндексирована поисковым роботом, вы увидите в выдаче ссылку на эту страницу, а также другую дополнительную о ней информацию: тИЦ сайта, PR страницы, наличие сайта в трастовых каталогах, посещаемость, количество «лайков» в социальных сетях, число входящих/исходящих ссылок и т.д.

Скопируйте фрагмент текста существенного объёма со страницы, которую хотите проверить, и вставьте его в поисковую строку Яндекса или Google, взяв в кавычки. «Существенного объёма» — это одно полное предложение слов на 10-12 или один небольшой абзац. Правда, Google, если вы введёте в поисковую строку слишком много текста, начнет возмущаться и выдавать 414-ю ошибку.

В результате, на первом месте поисковой выдачи вы увидите нужную вам страницу на исследуемом сайте, если она, конечно, проиндексирована. При наличии копипаста на других сайтах страницы с дублированным контентом также попадут в эту выдачу.

Воспользуйтесь специальными плагинами, которые устанавливаются в браузере. Например, установите себе надстройку RDS.Bar — для каждого браузера будет своя версия плагина. При этом, помимо информации об индексации, можно получать данные о наличии внешних и внутренних ссылок, о «посещалке» сайта, узнавать тИЦ ресурса и PR каждой его страницы. Также будет доступна и другая статистика.

Это, кстати, самый простой способ. Правда, у плагина существует один недостаток: поскольку он слишком часто, по мнению поисковиков, обращается в их базы данных, пользователю с RDS.Barом в браузере будет перед поиском постоянно предлагаться капча. Выход из положения есть: в настройках плагина поставить условие: «Проверять по кнопке». То есть до тех пор, пока пользователь не нажмет в надстройке кнопку, проверка параметров страницы осуществляться не будет, а следовательно, будут отсутствовать «лишние» запросы в базы данных поисковиков.

Проверьте, какие страницы уже находятся в поиске Яндекса, воспользовавшись сервисом: http://webmaster.yandex.ru/

Для этого укажите в форме адрес (домен) вашего сайта (пример: www.site.ru) и нажмите кнопку «Проверить».

На странице http://webmaster.yandex.ru/site/indexed-pages.xml можно увидеть список страниц вашего сайта, попавших в поисковый индекс Яндекса.

Учтите, что не все страницы, найденные роботом Яндекса, попадают в поисковый индекс: часть страниц исключается роботом, часть — на этапе построения поискового индекса. Причин, по которым загруженные страницы могут не участвовать в поиске, много: они могут быть дубликатами уже показанных страниц, содержать поисковый спам или ненужный пользователям контент, либо при их загрузке произошла ошибка (это была цитата из Яндекс.Помощь).

Существуют и другие способы проверки индексации страниц, например, с помощью всевозможных онлайн-сервисов. Однако большинство из них предлагает проверку индексации всего сайта, показывая, например, только количество проиндексированных страниц в Google и Яндексе без конкретного указания урлов.


Как ускорить индексацию страниц сайта



Существует несколько методик, позволяющих пригласить на страницу быстророботов поисковых систем. При этом индексация страниц будет неполноценной, предварительной, но её уже можно считать достаточной: 1. Добавьте страницу сайта в «аддурилки» поисковых систем.

«Аддурилка» (от англ. Add_url) Яндекса:

http://webmaster.yandex.ru/addurl.xml


«Аддурилка» Google:

https://www.google.com/webmasters/tools/submit-url?hl=ru&pli=1


Для добавления страничек в Google нужно авторизоваться (предварительно зарегистрировавшись) в Google-аккаунте.

2. Дайте ссылку на страницу сайта в социальных сетях.

На Яндекс неплохо влияет социальная сеть Twitter. Во всяком случае, после добавления в Твиттере ссылки на страницу может прийти быстроробот Яндекса и проиндексировать статью.

На Google неплохо влияет добавление ссылки на страницу в аккаунт Google+.

Впрочем, ссылки на страницу стоит добавить во все социальные сети, в которых у вас есть аккаунты.

Оптимально, чтобы на каждой странице сайта находились кнопки социальных сетей, которые дают возможность всем посетителям поделиться ссылкой на страницу в своих аккаунтах. Понятное дело, что далеко не каждый посетитель нажмет на эти кнопки, даже при условии наличия на странице очень интересной информации. Однако многие пользователи всё-таки «делятся» контентом, что положительно воспринимается поисковыми системами.

Проверьте страницу на «доступность» в сервисе Яндекс.Веб-мастер по ссылке:

http://webmaster.yandex.ru/server-response.xml.


Правда, проверить страницу придется не один раз, а несколько (4-5). В итоге страница влетает в индекс достаточно быстро.

Еще советуем:
  • Юзабилити веб сайта
  • Внешняя оптимизация сайта
  • Метатеги для сайта
  • Оптимизация изображений
  • Индексация страницы в гугле