Kyl-parser 1.1 : парсер контента

Kyl-parser 1.1 : парсер контента

Модуль предназначен для парсинга контента с других сайтов. Парсер для DLE работает по крону. Крон задается как по протоколу HTTP, так и простым вызовом PHP-скрипта. Разница в том, что php-скрипт может вызвать любой посетитель, зная адрес скрипта, а вызов по протоколу сопровождается добавлением hash параметра, который указывается к конфигурационном файле модуля. Парсер загружает все изображения в папку uploads и далее в папку с датой. При повторном обходе новостей, он проверяет новости по заголовку. Если заголовок найден в базе, то загрузка изображений и замена статей не происходит.
 
Возможности:
  1. Создание шаблонов для парсинга, т.е. можно создать несколько шаблонов для парсинга нескольких сайтов одновременно.
  2. Возможность отключать и включать шаблоны.
  3. Ведение логов. Каждый лог достигая 3 Мб, стирается и перезаписывается заново.
  4. Парсинг через прокси.
  5. Возможность парсить новости / статьи с мгновенной публикацией их на сайт или добавлением их на модерацию.
  6. Можно указывать промежуток (в секундах) между обходом страниц на сайте доноре.
  7. Распределение категорий сайта донора с категориями на сайте с установленным модулем, то есть с вашим.
  8. Выбор селекторов в парсере: заголовка, постов, навигации, тегов, ключевых слов, описание, тегов, изображений, главное изображения поста...
  9. Указание, на какой странице парсинга следует останавливать парсер и переходить к следующей категории на сайте или следующему шаблону.
  10. Поиск и замена в теле поста по регулярному выражению.
  11. Поиск и замена или удаление атрибутов элементов в теле поста.
  12. Удаление элементов.















Один ключ предоставляется бесплатно - для одного сайта. За ключом обращаться к автору модуля (см. Источник).

Скачать: файл могут только зарегистрированные посетители.
 
Версия DLE: 10.х-11.х
Кодировка: utf-8
Версия PHP: 5.6 и выше
IonCube Loader: да
 
Автор: Kylaksizov
Источник:
  • Oxigen
  • 2
  • 809
Информация
Оставлять комментарии могут только зарегистрированные посетители.

Комментариев 2

Oxigen 26 сентября 2018 17:47 #
pervo, вот тут обсуждают на счет подвоха stuck_out_tongue_winking_eye
pervo 26 сентября 2018 16:38 #
Доброго дня всем!
Кто-то ставил этот парсер ?
Просто бесплатно отдают, какой то же должен быть подвох?
  • Рейтинг@Mail.ru
  • Яндекс.Метрика