Я был уверен, что идеале для запрета индексирования страницы надо использовать все доступные способы: noindex, nofollow (причем как в tag, так и заголовке страницы), robots.txt и исключение из XML sitemap. Таким образом, ты помогаешь Гуглю не делать лишнюю работу, индексируя заведомо ненужные страницы.
Но жизнь не стоит на месте. Теперь Гугль просит включать в XML sitemap все страницы, кроме тех, которые запрещены в robots.txt. Оказывается, они уже не верят на слово вебмастеру, который говорит "эта страница плохая". Они хотят сначала проиндесировать всё, что есть; определить, что такое хорошо, а что такое плохо; и только потом сравнить свои результаты с тем, что ты поотмечал как nofollow / noindex.
И вот если результаты примерно совпадут, то они скажут: "О, вот это хороший сайт - люди стараются, ответственно подходит к работе".
Но жизнь не стоит на месте. Теперь Гугль просит включать в XML sitemap все страницы, кроме тех, которые запрещены в robots.txt. Оказывается, они уже не верят на слово вебмастеру, который говорит "эта страница плохая". Они хотят сначала проиндесировать всё, что есть; определить, что такое хорошо, а что такое плохо; и только потом сравнить свои результаты с тем, что ты поотмечал как nofollow / noindex.
И вот если результаты примерно совпадут, то они скажут: "О, вот это хороший сайт - люди стараются, ответственно подходит к работе".
Комментариев нет:
Отправить комментарий