Закрытие от индексации страницы архивов новостей

Закрытие от индексации страницы архивов новостей

Бывает нужно закрыть от индексации страницы архивов вида http://site.ru/2018/03/22/ и т.д. Для этого можно использовать предназначенные для DLE модули и хаки. Но можно пойти и более простым путем - запретить индексацию новостей через файл robots.txt.
robots.txt - текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.
 
Установка:
1. Открыть в корневом каталоге robots.txt и найти:
User-agent: *

Добавить ниже, например:
Disallow: /2015/
Disallow: /2016/
Disallow: /2017/
Disallow: /2018/
Disallow: /2019/
Disallow: /2020/

Готово!
 
Автор: Westus
Источник:
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.
  • Рейтинг@Mail.ru
  • Яндекс.Метрика