Cоздание парсера туров на с++
Сергей16 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
21.07.2014
Цель:
Получить справочники, предложения и их цены
Суть задачи:
Необходимо сделать парсер xml файлов, в каждом файле находится, примерно, от 10 тыс. до 10 млн. предложений, их нужно проанализировать, вытащить справочники и сами предложения.
Файлы забираем через фтп с авторизацией, они упакованы в .zip архивы.
И при этом надо хранить информацю о тех файлах, что мы уже просканили, т.е. брать только новые, по дате изменения файлов.
Соответственно первый раз будут просканированы все файлы.
Парсер должен запускаться каждые 1–5 минут.
Справочники хранятся в базе mysql, а предложения в поисковой системе sphinx.
Остальные детали по договоренности.