Десктопный парсер для Win XP/7
1. Десктопный exe-шник и исходники под Win XP/7
2. Что парсим - базу предложений б\у автозапчастей. Источники autopriwos.by и motorland.by .
4. Сохрание всех данных из таблиц как на вышеуказанных сайтах и в той-же последовательности.
Внимание! на вышеуказанных сайтам по одному запросу выдаются максимум 100 позиций, кнопки следующая страница нет, возможность просмотра появляется только после более четкого определения параметров поиска требуемой.
В последнем столбце вместо "контактных телефонов" - значение "поставщик": autopriwos.by - ЕВРОА, motorland.by - ЕВРОМ.
Данные из поля артикул и сам "артикул"с autopriwos.by - не парсятся.
В первом столбце - всегда название детали (на сайте моторленд выводится в таблице только когда не уаказана конкретная деталь которую ищешь, если деталь указана - название детали написано вверху страницы над таблицей), затем марка автомобиля, следом модель, потом год и т.д.
В таблицу от autopriwos.by добавить поле Цена.
Во всех таблицах и БД если цена не указана - значение "по запросу", если цена указана в поле "цена" писать цена/курс.
Для ввода курса сделать окошко в интерфейсе программы, в которое будет вводится курс перед нажатием кнопки «поехали». Конвертирование происходит из бел. рублей в USD$.
5. Необходимы настроики парсинга по названию детали (выборочно, или "все вместе" - на чекбоксах).
6. Неизвестно есть ли на этих сайтах бан по IP при превышении количества запросов за определенный промежуток времени.
Этот момент нужно исследовать (лучше в ночное время, что бы не завалить их сервер — организации партнерские вредить им не хотелось бы) и сделать настройка для парсера для снижения нагрузки на их сервера и вероятности получения бана по IP.
7. Сохранение данных в виде разных для каждого сайта Excel файлов, и баз Mysql, а также возможность объедения данных в один excel файл и в одну базу Mysql
8. Запуск парсера - ручной "кнопкой".
Последовательность запуска:
- Выбор сайта(ов) для парсинга,
- выбор названия (наименования) запчасти/ей для скачивания.
- ввод курса для конвертирования
- настройка снижения нагрузки на источник
- нажали кнопку "Парсить" :).
- по окончанию парсинга соответствущее сообщение.
Как-то так. Если есть вопросы, предложения, рекомендации и т.п. - пишите.