Адаптация парсера к новой структуре сайта

Андрей13 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
05.05.2014

Есть парсер для сайта отто.де работающий в несколько потоков с использованием прокси (PHP, MySQL). Сайт otto_de очень большой порядка 800 000 товаров, по-этому спарсеная база получается около 5ГБ. Список таблиц которые парсятся: http://clip2net.com/s/795p8p. Код переписывать сильно не придется, но вникнуть в имеющийся парсер придется постаратся. Сам проект интересный, но сложный.

Изменилась структура сайта. В связи с этим нужно изменить парсер. Поскольку структура исходного сайта время — от времени изменяется, то планируется постоянное сотрудничество. Разработчик скрипта фрилансом, к сожалению, уже не занимается. Есть ТЗ по проекту и данные о том как работает парсер. Жду предложений с указанием диапазона стоимости работы. Более детально смогу рассказать по скайпу.

Парсер работает поэтапно: 1) парсит категории с сайта (названия, урл, айди, иерархия) 2) парсит для категорий все товары (урл) в категориях 3) парсится для каждого товара JSON массив. Раньше этот массив хранился в коде страницы товара, теперь он хранится по отдельному УРЛ 4) данные о товарах парсятся с JSON массива сохраненного в нашей БД.