Индексация сайта в поисковиках - как она происходит и как ее ускорить
После создания собственного сайта многие веб-мастера расслабляются и думают о том, что самое сложное уже позади. На самом деле это не так. В первую очередь сайт создается для посетителей.
Ведь именно посетители будут читать страницы со статьями, покупать товары и услуги, размещенные на сайте. Чем больше посетителей, тем больше прибыль. А трафик с поисковиков – это основа всего, поэтому так важно чтобы индексация сайта проходила быстро и страницы держались в индексе стабильно.
Если трафика нет, то о сайте мало кто вообще узнает, особенно данное положение актуально для молодых интернет-ресурсов. Хорошая индексация способствует скорейшему попаданию страницы в топ поисковых систем и как следствие, привлечение большого количества целевых посетителей.
Что представляет собой индексация и как она происходит
Для начала нужно понять, что это такое. Индексация сайта - это процесс сбора информации со страниц сайта с последующим занесением ее в базу данных поисковой системы. После этого происходит обработка полученных данных. Далее, через некоторое время, страница появится в выдаче поисковика и люди смогут находить ее, используя данную поисковую систему.
Программы, которые осуществляют сбор и анализ информации, называются поисковыми роботами или ботами. Каждый поисковик обладает собственными роботами. У каждого из них свое название и предназначение.
В качестве примера можно выделить 4 основных типа поисковых роботов Яндекса:
1. Робот, индексирующий страницы сайта. Его задача – обнаруживать и заносить в базу данных найденные страницы с контентом.
2. Робот, индексирующий картинки. Его задача – обнаруживать и заносить в базу поисковика все графические файлы со страниц сайта. Затем эти картинки могут быть найдены пользователями в поиске по изображениям от Google или в сервисе Яндекс.Картинки.
3. Робот, индексирующий зеркала сайтов. Иногда сайты имеют несколько зеркал. Задача данного робота – определять эти зеркала посредством информации из robots.txt, после чего выдавать пользователям, в поиске, лишь главное зеркало.
4. Робот, проверяющий доступность сайта. Его задача – периодически проверять добавленный посредством «Яндекс.Вебмастера» сайт на предмет его доступности.
Помимо вышеперечисленных есть и другие типы роботов. К примеру, роботы, индексирующие видеофайлы и фавиконки на страницах сайта, роботы, выполняющие индексацию «быстрого» контента, а также роботы, проверяющие работоспособность интернет-ресурса, размещенного в Яндекс.Каталоге.
Индексация страниц сайта поисковиками обладает своими особенностями. Если робот обнаруживает на сайте новую страницу, то она заносится в его базу данных. Если же робот фиксирует изменения в старых страницах, то их версии, ранее занесенные в базу данных, удаляются и заменяются новыми. И все это происходит на протяжении определенного периода времени, как правило, 1-2 недель. Такие длительные сроки объясняются тем, что поисковым роботам приходится работать с большим объемом информации (ежедневно появляется большое количество новых сайтов, а также обновляются старые).
Теперь о файлах, которые умеют индексировать боты поисковых систем.
Кроме веб страниц поисковики индексируют и некоторые файлы закрытых форматов, но с определенными ограничениями. Так в PDF роботами считывается лишь текстовое содержимое. Flash-файлы довольно часто не индексируются вообще (либо там индексируется лишь текст, размещенный в специальных блоках). Также роботами не индексируются файлы, обладающие размером больше 10 мегабайт. Лучше всего поисковые системы научились индексировать текст. При его индексации допускается минимальное количество ошибок, контент заносится в базу в полном объеме.
Если обобщить, то многие поисковики в настоящий момент могут индексировать такие форматы, как TXT, PDF, DOC и DOCX, Flash, XLS и XLSX, PРT и РРТХ, ODP, ODT, RTF.
Как ускорить процесс индексации сайта в поисковых системах
Многие веб-мастера задумываются о том, как ускорить индексацию. Для начала следует понять, что такое сроки индексации. Это время между посещениями сайта поисковым роботом. И время это может варьироваться от нескольких минут (на крупных информационных порталах) до нескольких недель или даже месяцев (на забытых и заброшенных маленьких или новых сайтах).
Нередки случаи кражи контента. Кто-то может просто скопировать вашу статью и разместить у себя на сайте. Если поисковик проиндексирует эту статью раньше чем это произойдет на вашем сайте, то автором поисковики будут считать именно этот сайт, а не ваш. И хотя сегодня появились некоторые инструменты позволяющие указать авторство контента, скорость индексации страниц сайта не теряет своей актуальности.
Поэтому ниже дадим советы насчет того, как всего этого можно избежать и ускорить индексацию своего ресурса.
1. Использовать функцию «Add URL» (Добавить URL) - это так называемые аддурилки, представляющие собой формы в которые можно ввести и добавить адрес любой страницы сайта. Страница в этом случае будет добавлена в очередь на индексацию.
Она есть во многих крупных поисковиках. Чтобы вам не пришлось искать все адреса форм для добавления страниц сайта мы их собрали в отдельной статье: "Как правильно зарегистрировать сайт в поисковых системах". Данный метод нельзя назвать 100-процентной защитой от плагиата, но это хороший способ сообщить поисковику о новых страницах.
2. Зарегистрировать сайт в «Инструментах для веб-мастера» от Google и сервисе Яндекс.Вебмастер. Там можно посмотреть, сколько страниц сайта уже проиндексировалось, а сколько не проиндексировалось. Можно добавить страницы в очередь на индексацию и сделать много чего еще, при помощи доступных там инструментов.
3. Сделать карту сайта в двух форматах – HTML и XML. Первая нужна для размещения на сайте и для удобства навигации. Вторая карта нужна для поисковых систем. В ней содержатся текстовые ссылки на все страницы вашего сайта. Следовательно, при индексации робот не упустит ни одну из них. Карту сайта можно сделать при помощи плагинов для CMS или при помощи многочисленных онлайн-сервисов.
В качестве отличных решений для ее создания можно привести следующие:
- Для CMS Joomla компонент Xmap;
- Для WordPress плагин Google XML Sitemaps;
- Для CMS Drupal модуль SitemapXML;
- Универсальным инструментом для создания карты сайта может послужить сервис www.mysitemapgenerator.com.
4. Анонс статей в социальных сетях — Google +1, Twitter, Facebook, Vkontakte. Сразу после добавления новой статьи на сайт делайте ее анонс на своей странице Google +, Twitter ленте и страницах в Facebook и Vkontake. Лучше всего поставить на сайт кнопки социальных сетей и добавлять туда анонсы просто нажимая на кнопки. Можно настроить автоматические анонсы в Twitter и Facebook.
5. Выполняйте кросспостинг в различные блог платформы. Можете создать себе блоги на таких сервисах как: Li.ru, Livejournal.com, wordpress.ru, blogspot.com и публиковать там краткие анонсы ваших статей со ссылками на их полные версии на вашем сайте.
6. Сделать RSS ленту сайта и зарегистрировать ее в различных RSS каталогах. Найти их адреса вы можете в статье: "RSS каталоги для добавления RSS ленты вашего сайта".
7. Частота обновлений сайта. Чем чаще на вашем сайте будут появляться новые материалы, тем чаще поисковые роботы будут его посещать. Для нового сайта это лучше всего делать каждый день, ну в крайнем случае через день.
8. Выполняйте грамотно внутреннюю перелинковку. На сайте должна быть грамотная система внутренних ссылок, которая будет связывать все страницы друг с другом. Поисковому роботу в этом случае будет проще переходить с одной страницы на другую. Подробнее о перелинковке: Внутренняя перелинковка - ее разновидности, способы и полезные рекомендации.
9. Размещайте на своем сайте лишь уникальный контент. Это универсальное правило, позволяющее улучшить не только процесс индексации. Чем уникальнее будет материал, тем лучше поисковики будут относиться к вашему сайту. Тем чаще поисковые роботы будут заходить к вам в гости.
Данных методов по ускорению индексации будет вполне достаточно для молодого или среднего по возрасту сайта. Они не будут занимать у вас много времени и имеют хороший эффект.
Запрет индексации страниц
В некоторых случаях веб-мастеру нужно закрыть сайт от индексации или закрыть его отдельные страницы и разделы. Для чего это может потребоваться? К примеру, часть страниц вашего сайта не содержит полезной информации, это могут быть разного рода технические страницы. Либо вам нужно закрыть от индексации ненужные внешние ссылки, баннеры и так далее.
1. Robots.txt.
Закрыть отдельные страницы и разделы ресурса от индексации можно посредством файла robots.txt. Он помещается в корневую директорию. Там прописываются правила для поисковых роботов по части индексации отдельных страниц, разделов и даже для отдельных поисковиков.
При помощи специальных директив этого файла можно очень гибко управлять индексацией.
Приведем несколько примеров:
Запретить индексацию всего сайта, всеми поисковыми системами можно при помощи следующей директивы:
Запретить индексацию отдельной директории:
Запретить индексацию страниц url которых содержит "?":
И т. д. директив и возможностей у файла robots.txt множество и это тема отдельной статьи.
2. Также есть тег и мета тег noindex и nofollow.
Чтобы запретить индексацию определенного содержимого на странице достаточно его поместить между тегами <noindex> </noindex>, но эти теги работают только для поисковой системы Яндекс.
Если нужно закрыть от индексации отдельную страницу или страницы сайта можно использовать мета-теги. Для этого на странице вашего сайта между тегами <head></head> необходимо добавить следующее:
Если добавить:
то документ также не будет проиндексирован.
Если добавить:
то робот поисковой машины не будет идти по ссылкам размещенным на данной странице, но саму страницу индексировать будет.
При этом то, что будет указанно в мета тегах будет иметь преимущество перед директивами файла robots.txt. Поэтому если вы запретите индексацию определенной директории вашего сайта в файле robots.txt, а на самих страницах сайта, которые относятся к данной директории будет указан следующий мета-тег:
- то данные страницы все равно будут проиндексированы.
Если сайт построен на какой-то CMS, то в некоторых из них есть возможность при помощи специальных опций закрыть страницу к индексации. В других случаях эти мета теги придется вставлять на страницы сайта в ручную.
В следующих статьях мы подробно рассмотрим процедуру запрета индексации и все, что с этим связано (использование файла robots.txt, а также тегов noindex и nofollow).
Проблемы индексации и выпадения страниц из индекса
Существует множество причин, по которым может не происходить индексация интернет-ресурса. Ниже мы перечислим самые распространенные.
1. Неправильно настроен файл Robots.txt или неверно указаны мета-теги управляющие индексацией.
2. Домен вашего сайта уже использовался для определенного сайта и имеет плохую историю, скорее всего ранее на его был наложен какой-то фильтр. Чаще всего проблемы подобного рода касаются индексации именно Яндексом. Страницы сайта могут при первой индексации попадать в индекс, затем полностью вылетают и больше не индексируются. При обращении в службу поддержки Яндекса, вам скорее всего скажут, чтобы вы развивали сайт и все будет хорошо.
Но как показывает практика и после 6 месяцев публикации на сайте качественного уникального контента движений в позитивную сторону может и не быть. Если у вас подобная ситуация и сайт, не индексируется на протяжении 1 - 2 месяцев, то лучше зарегистрируйте другое доменное имя. Как правило после этого все становится на свои места и страницы сайта начинают индексироваться.
3. Неуникальный контент. Добавляйте на сайт только уникальный материал. Если на страницах вашего сайта размещается большое количество копипаста, то не удивляйтесь, что со временем эти страницы могут выпадать из индекса.
4. Наличие спама в виде ссылок. На некоторых сайтах страницы буквально завалены внешними ссылками. Веб-мастер обычно размещает все это для того, чтобы заработать побольше денег. Однако конечный результат может быть очень печальным – определенные страницы сайта да и весь сайт может быть исключен из индекса, либо могут быть наложены какие-то другие санкции.
5. Размер статьи. Если вы просмотрите исходный код какой-либо страницы вашего сайта, то увидите, что текст самой статьи занимает не так много места по сравнению с кодом других элементов (шапка, футер, сайдбар, меню и т.д.). Если статья будет слишком маленькой, то она и вовсе может потеряться в коде. Поэтому также могут возникнуть проблемы с уникальностью такой страницы. Поэтому старайтесь публиковать заметки, объем текста в которых не меньше 2000 знаков, с таким контентом вряд ли возникнут проблемы.
Как сделать проверку индексации сайта
Теперь поговорим о том, как провести проверку индексации вашего интернет ресурса и узнать, сколько именно страниц проиндексировано.
1. Прежде всего, попробуйте вбить URL адрес интересуемой страницы в простой поиск того же Google или Яндекса. В полученных результатах должна быть данная страница. Если страницы нет, то значит она не проиндексирована.
2. Чтобы проверить индексацию всех станиц сайта в Яндексе достаточно в поисковую строку вставить host:ваш-сайт.ru | host:www.ваш-сайт.ru и произвести поиск. Для Google достаточно вставить в поисковую форму site:ваш-сайт.ru
3. Также можно проверить свой сайт при помощи такого сервиса, как pr-cy.ru. Тут все просто и понятно устроено. Нужно просто вбить адрес вашего ресурса в поле, находящееся по центру, а затем нажать кнопку «Анализировать». После анализа вы получите результаты проверки и узнаете, сколько страниц проиндексировано в том или ином поисковике (сделать это можно в соответствующем разделе под названием «Основные показатели сайта»).
4. Если ваш сайт добавлен в сервис Яндекс Веб-мастер, то там тоже можно отслеживать индексацию страниц веб-сайта данным поисковиком.
- Подробности
-
Опубликовано: 24 Сентябрь 2013
-
Обновлено: 30 Декабрь 2015
-
Просмотров: 22742
