Как ускорить индексацию сайта
Если Вы уверены, что Ваш сайт не нарушает правила игры (назовём это так), но он всё равно не индексируется довольно долгое время, то возможно поисковые роботы просто-напросто не могут найти Ваш сайт. Ну не могут они и всё тут! В этом случае Вам нужно помочь поисковой системе найти страницы Вашего сайта, о чём мы и поговорим далее.
Итак, как ускорить индексацию сайта в поисковых системах Яндекс и Гугл:
Шаг 1-й: Добавьте сайт в «Яндекс.Вебмастер» и «Центр веб-мастеров Google», если Вы ещё этого не сделали. Подчас этого достаточно, чтобы сайт нормально индексировался, но не всегда…
Шаг 2-й: Настройте правильно файл robots.txt. Закройте от индексации все страницы и папки, которые не нужно индексировать. Даже, если на некоторые файлы нет ссылок со страниц сайта, то поисковая система всё равно может их проиндексировать. Облегчите работу поисковым роботам и поисковые системы обязательно это оценят. Для каждого движка есть свои рекомендуемые настройки файла robots.txt, которые легко можно найти в Интернете. Но прежде чем использовать готовые решения, нужно чётко понимать, что Вы делаете, и, какие страницы закрываете от индексации, поэтому я настоятельно рекомендую Вам всё-таки изучить раздел «Использование robots.txt».
Шаг 3-й: Укажите в файле Sitemap все страницы, которые нужно проиндексировать. Многие web мастера пренебрегают этим файлом, считая его не столь значительным в процессе индексации сайта, а зря. Подчас именно файл Sitemap может поспособствовать тому, чтобы сайт проиндексировался. И в этом я совсем недавно убедился, когда мне дали в работу 3 сайта, у которых была одна общая проблема — в течение 6-ти месяцев у каждого сайта проиндексировалось всего лишь по 2−3 страницы в поисковой системе Гугл. Причём все эти сайты давно были добавлены в «Центр веб-мастеров Google» и «Яндекс.Вебмастер», а также на многие страницы с разных сайтов уже были проставлены ссылки. Как ни странно, данные сайты уже давно успешно индексировались в ПС Яндекс, но Гугл, по каким-то причинам обходил их стороной. Тогда я решил добавить файлы Sitemap на все сайты. И что Вы думаете — буквально через 2−3 недели все 3 сайта начали индексироваться в Гугле. Также я заметил, что если добавить сайт в панель вебмастера и там же указать путь к файлу Sitemap, то сайт нередко индексируется буквально за 1 день! Если Вы не знаете, что такое файл Sitemap, то Вы можете почитать о нём ЗДЕСЬ (Что такое файл Sitemap?). Практически у каждого движка есть свои плагины, которые генерируют файл Sitemap, но если у Вашего движка нет такой возможности, то Вы можете сгенерироваться файл Sitemap с помощью специального сервиса, такого как XML Sitemaps Generator. Просто введите адрес сайта и нажмите Start, после чего скачайте этот файл и загрузите его по ftp в коневую папку Вашего сайта. Затем укажите путь к файлу Sitemap в панели вебмастера.
Шаг 4-й: Создайте карту сайта. Карта сайта — это страница, на которой размещены все ссылки на страницы сайта. Карта сайта также помогает поисковым роботам быстрее проиндексировать сайт. Если Вам интересно, как выглядит карта сайта WebCaum.ru, то Вы можете посмотреть её на данной странице.
Шаг 5-й (необязательно): Ускорить индексацию сайта внешними ссылками. Самый эффективный способ проиндексировать сайт с помощью внешних ссылок — это сделать так, чтобы на самые значимые страницы Вашего сайта ссылались различные (желательно тематические) блоги, поскольку именно они индексируются быстрее всего (если блог популярный и часто обновляемый, то он может индексироваться каждые 2 часа!). Получить вечные ссылки с блогов на сайт (достаточно по 2−3 ссылки на каждую страницу) Вы можете с помощью сервиса Blogun или любых других сервисов.
