Kyl-parser 1.1 : парсер контента

Модуль предназначен для парсинга контента с других сайтов. Парсер для DLE работает по крону. Крон задается как по протоколу HTTP, так и простым вызовом PHP-скрипта. Разница в том, что php-скрипт может вызвать любой посетитель, зная адрес скрипта, а вызов по протоколу сопровождается добавлением hash параметра, который указывается к конфигурационном файле модуля. Парсер загружает все изображения в папку uploads и далее в папку с датой. При повторном обходе новостей, он проверяет новости по заголовку. Если заголовок найден в базе, то загрузка изображений и замена статей не происходит.


Возможности:

1. Создание шаблонов для парсинга, т.е. можно создать несколько шаблонов для парсинга нескольких сайтов одновременно.
   
2. Возможность отключать и включать шаблоны.
   
3. Ведение логов. Каждый лог достигая 3 Мб, стирается и перезаписывается заново.
   
4. Парсинг через прокси.
   
5. Возможность парсить новости / статьи с мгновенной публикацией их на сайт или добавлением их на модерацию.
   
6. Можно указывать промежуток (в секундах) между обходом страниц на сайте доноре.
   
7. Распределение категорий сайта донора с категориями на сайте с установленным модулем, то есть с вашим.
   
8. Выбор селекторов в парсере: заголовка, постов, навигации, тегов, ключевых слов, описание, тегов, изображений, главное изображения поста...
   
9. Указание, на какой странице парсинга следует останавливать парсер и переходить к следующей категории на сайте или следующему шаблону.
   
10. Поиск и замена в теле поста по регулярному выражению.
    
11. Поиск и замена или удаление атрибутов элементов в теле поста.
    
12. Удаление элементов.

Важно: один ключ предоставляется бесплатно - для одного сайта. За ключом обращаться к автору модуля (см. Источник).

• Версия DLE: 10.х-11.х
• Кодировка: utf-8
• Версия PHP: 5.6 и выше
• Библиотека: Ioncube Loader
• Автор: Kylaksizov

Примечание от Oxigen: Из за прекращения автором поддержки модуля ключи более недоступны.