Страница 1 из 1

Закрыть ли от поисковиков?

Добавлено: 2019.05.18, 12:47
Maxim Glushko
На сайте есть теги и они отражаются в адресной строке так:

Код: Выделить всё

/stories/tags:einstein
/stories/tags:freud
/stories/tags:einstein;freud
Т.е. первая адресная строка даст список историй об Эйнштейне, вторая - о Фрейде, третья - о совмещении.
Тегов много и комбинаций совмещений тоже много.
Я только начал цеплять теги к историям, что-то около 30, и заметил, что яндекс-бот два-три раза в секунду индексирует эти комбинации. И пока не перебрал их ))
Вопрос: пусть будет, как есть, или же стоит напрячься и как-то закрыть от поисковиков эти ссылки с совмещениями тегов?

Re: Закрыть ли от поисковиков?

Добавлено: 2019.05.19, 11:12
samdark
Я у себя закрывал. Дало то, что находятся не страницы со списком по тегу, а сами статьи.

Re: Закрыть ли от поисковиков?

Добавлено: 2019.05.19, 15:39
Maxim Glushko
Файл robots.txt яндексу не указ - продолжает фигачить 2-3 раза в секунду по всем возможным комбинациям тегов.
Пришлось закрыть индивидуально яндексу через .htaccess теги.
Нехай просто по пагинации без тегов индексирует.
И ссылки с тегами прикрыл, чтобы через js в реальные тегированные ссылки превращались.

Re: Закрыть ли от поисковиков?

Добавлено: 2019.05.20, 14:09
chesar
Я бы оставил в индексе разводные страницы с 1 тегом. А там где наборы из 2 и более добавлять noindex nofollow, ну и http заголовок можно для кучи:
https://yandex.ru/support/webmaster/con ... obots.html