Закрытие от индексации страниц архивов новостей используя robots.txt

16/09/2018 05:24

Бывает нужно закрыть от индексации страницы архивов вида http://site.ru/2018/03/22/ и т.д. Для этого можно использовать предназначенные для DLE модули и хаки. Но можно пойти и более простым путем - запретить индексацию новостей через файл robots.txt.

robots.txt - текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.

Установка:
1. Открыть в корневом каталоге robots.txt и найти:

User-agent: *

Добавить ниже, например:

Disallow: /2015/
Disallow: /2016/
Disallow: /2017/
Disallow: /2018/
Disallow: /2019/
Disallow: /2020/

Готово!

• Версия DLE: 10.x-14.x
• Автор: Westus
• Источник

Oxigen
0
819