Граббер товаров DealExtreme.com в формат WebAsyst

Веб-программирование
445 просмотров
13.03.2011
1280×98392 КБ
Граббер товаров DealExtreme.com в формат WebAsyst.png

1) выполнен на Perl 5.10+ (для более старых версий потребуется минимальная корректировка). 2) Данные предварительно пишутся в свою базу (SQLite), после чего строятся CSV файлы. Формат CSV файла тот, который требуется для импорта в WebAsyst Shop-Script (http://www.webasyst.ru/support/shop/manual.html#import-kataloga-tovarov-iz-csv). 3) Наличие как веб-интерфейса (см.скриншот) так и возможности ручного запуска через консоль или по крону. 4) Возобновление работы при преждевременном завершении скрипта. 5) конфигурируется: * число потоков скачивания * пути для сохранения картинок и для сохранения CSV-файлов. * максимальный размер CSV, после превышения которого CSV будет раздроблен на части. 6) прокси не поддерживаются поскольку в них нет нужды - сервер дилэкстрима не банит за частые запросы с одного IP. Возможна доработка, например, выгрузка в иной формат нежели CSV для WebAsyst-a. REQUIREMENTS / НЕОБХОДИМОЕ ДЛЯ РАБОТЫ Perl 5.8+ DBD::SQLite threads 1.75+ threads::shared 1.33+
SQLiteWebasyst