О Google роботах - Adsensebot Freshbot DeepCrawl

21/03/2008  

Робот является частью поисковой системы, который ходит по сайтам в Интернет, сканирует их страницы, классифицирует и помещает в базу данных.

Google имеет три хорошо известных робота: Adsensebot, Freshbot и DeepCrawl.

Adsense робот используется для издателей, у которых установлен код объявлений Adsense на сайтах. Как только появляется новая страница, код JavaScript с Adsense посылает сообщение Adsense роботу, и он приходит в течение 15 минут, чтобы проиндексировать страницы для помещения наиболее релевантных объявлений.

Подробности: Как получать от Google Adsense более 1000$ ежемесячно, в виде пассивного дохода?

Freshbot сканирует наиболее популярные страницы вашего сайта. И неважно, если это одна страница или тысячи. Наиболее популярные сайты сканируются каждые десять минут, если их содержимое часто изменяются. Подобными сайтами являются новостные ресурсы или популярные форумы. Обычный сайт посещается freshbot’ом через каждые 1 - 14 дней, в зависимости от их популярности.

Что происходит на Вашем сайте при посещении Fresh робота? Он находит новые ссылки на вашем сайте. Именно эти ссылки заносятся в базу данных, по которым уже ходит DeepCrawl.

Каждый месяц, DeepCrawl робот посещает сайт и проходит по всем ссылкам, найденным Freshbot. Вот почему индексация всего сайта может занять месяц даже с добавлением Google Sitemap.

Будьте терпеливы, не теряйте время и добавляйте полезный контент на свой сайт, работайте над увеличением ссылочной базы – и Google вознаградит вас.