Граббер товаров DealExtreme.com в формат WebAsyst
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
1) выполнен на Perl 5.10+ (для более старых версий потребуется минимальная корректировка).
2) Данные предварительно пишутся в свою базу (SQLite), после чего строятся CSV файлы. Формат CSV файла тот, который требуется для импорта в WebAsyst Shop-Script (http://www.webasyst.ru/support/shop/manual.html#import-kataloga-tovarov-iz-csv).
3) Наличие как веб-интерфейса (см.скриншот) так и возможности ручного запуска через консоль или по крону.
4) Возобновление работы при преждевременном завершении скрипта.
5) конфигурируется:
* число потоков скачивания
* пути для сохранения картинок и для сохранения CSV-файлов.
* максимальный размер CSV, после превышения которого CSV будет раздроблен на части.
6) прокси не поддерживаются поскольку в них нет нужды - сервер дилэкстрима не банит за частые запросы с одного IP.
Возможна доработка, например, выгрузка в иной формат нежели CSV для WebAsyst-a.
REQUIREMENTS / НЕОБХОДИМОЕ ДЛЯ РАБОТЫ
Perl 5.8+
DBD::SQLite
threads 1.75+
threads::shared 1.33+
