Как оказалось, использование HTTP-заголовка X-Robots-Tag: noindex, follow, noarchive абсолютно не мешают Гуглю пытаться скачивать URL. Наверное, дело в follow.
Я вообще-то сразу предлагал использовать nofollow. Но тут палка о двух концах: Гугль с осторожностью относится к сайтам, на которых очень много ссылок с nofollow. Логика такая - раз даже вебмастер понимает, что большая часть его внешних ссылок плохие, то, наверное, и сам сайт тоже плохой.
Вы спросите, а зачем вообще использовать X-Robots-Tag, а не meta-тэг? Потому что эта URL используется как exit link на рекламу, и возвращает 302. Т.е. страницы нет как таковой, некуда тэг влепить.
В общем, не послушались меня. В результате после смены структуры сайта имеем десятки тысяч запросов к этой уже несуществующей URL каждый день.
Возвращаем 410 Gone, и потихоньку количество ошибок уменьшается. Почему 410, а не 301 на главную страницу? Потому что ошибок слишком уж много, Гуглю может не понравится, если тупо всё перенаправлять.
Комментариев нет:
Отправить комментарий