Закрытие от индексации страницы архивов новостей

Закрытие от индексации страницы архивов новостей

Бывает нужно закрыть от индексации страницы архивов вида http://site.ru/2018/03/22/ и т.д. Для этого можно использовать предназначенные для DLE модули и хаки. Но можно пойти и более простым путем - запретить индексацию новостей через файл robots.txt.
robots.txt - текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.
 
Установка:
1. Открыть в корневом каталоге robots.txt и найти:
User-agent: *

Добавить ниже, например:
Disallow: /2015/
Disallow: /2016/
Disallow: /2017/
Disallow: /2018/
Disallow: /2019/
Disallow: /2020/

Готово!
 
 
Автор: Westus
Источник:
  • Oxigen
  • 0
  • 267
Информация
Оставлять комментарии могут только зарегистрированные посетители.
  • Рейтинг@Mail.ru
  • Яндекс.Метрика