понедельник, 22 сентября 2014 г.

Включение nofollow-страниц в sitemap

Я был уверен, что идеале для запрета индексирования страницы надо использовать все доступные способы: noindex, nofollow (причем как в tag, так и заголовке страницы), robots.txt и исключение из XML sitemap. Таким образом, ты помогаешь Гуглю не делать лишнюю работу, индексируя заведомо ненужные страницы.

Но жизнь не стоит на месте. Теперь Гугль просит включать в XML sitemap все страницы, кроме тех, которые запрещены в robots.txt. Оказывается, они уже не верят на слово вебмастеру, который говорит "эта страница плохая". Они хотят сначала проиндесировать всё, что есть; определить, что такое хорошо, а что такое плохо; и только потом сравнить свои результаты с тем, что ты поотмечал как nofollow / noindex.

И вот если результаты примерно совпадут, то они скажут: "О, вот это хороший сайт - люди стараются, ответственно подходит к работе".

Комментариев нет:

Ratings by outbrain