Модуль по срейперингу (соскребанию) объявлений

Скрипт для сбора данных в полу-автоматическом режиме по объявлениям с других досок объявлений.

Администратор находит сайт, вырезает от туда шаблон. Вставляет в скрейпер обрабатывает его, после чего указывает параметры для срейпинга.

Название параметра Описание

URL откуда нужно тянуть объявления

Тип запроса который нужно посылать GET / POST

Шаблон по которому будут вытягиваться данные

%obTitle% заголовок объявления и т.д

%obContent% содержимое объявления

%obPrice% цена

... Дополнительные параметры будут появляться по мере написания и тестирования.

Количество объявлений на странице (опционально) т.к. может быть нужно не все объявления на странице

Постраничное листание если оно есть можно указать параметры для листания и проверки всех абсолютно объявлений

Время запуска каждый день в указанное время, или раз в неделю в указанный день или раз в месяц

шаблон 2

%urlDescription% Если шаблон 2 присутствует и переменная %urlDescription% не пустая, тогда мы вытаскиваем эту переменную и заходим на страницу 2 и применяем к ней шаблон 2. К примеру у нас есть список объявлений в котором приводиться только краткая информация о бизнесе но при переходе по ссылке можно получить более детальную информацию. Вот для этого эта функция и пригодится.

Объявление обрабатывается и слаживается в виде XML в определенное место.