вторник, 14 июля 2015 г.

X-Robots-Tag: noindex, follow, noarchive

Как оказалось, использование HTTP-заголовка X-Robots-Tag: noindex, follow, noarchive абсолютно не мешают Гуглю пытаться скачивать URL. Наверное, дело в follow.

Я вообще-то сразу предлагал использовать nofollow. Но тут палка о двух концах: Гугль с осторожностью относится к сайтам, на которых очень много ссылок с nofollow. Логика такая - раз даже вебмастер понимает, что большая часть его внешних ссылок плохие, то, наверное, и сам сайт тоже плохой.

Вы спросите, а зачем вообще использовать X-Robots-Tag, а не meta-тэг? Потому что эта URL используется как exit link на рекламу, и возвращает 302. Т.е. страницы нет как таковой, некуда тэг влепить. 

В общем, не послушались меня. В результате после смены структуры сайта имеем десятки тысяч запросов к этой уже несуществующей URL каждый день. 

Возвращаем 410 Gone, и потихоньку количество ошибок уменьшается. Почему 410, а не 301 на главную страницу? Потому что ошибок слишком уж много, Гуглю может не понравится, если тупо всё перенаправлять.

Комментариев нет:

Ratings by outbrain