Многопоточный парсер
нужен многопоточный парсер для сайта tmall.com
серверное приложение с несколько потоков идет скачивание с сайта донора
каждый поток идет со своего ип.
нужен основной распределяльщик задач
и подключаемые потоки (до 100 потоков каждый поток идет со своего ип.
сервер один но берется куча ип под него ). по завершению загрузка в наш шоп.
полная эмуляция работы обычного пользователя(возможны блокировки с сайта донора).
парсер работает в два этапа
1 загрузка категорий и подкатегорий товаров на сайте доноре
1.1 выбор нужных категорий для парсинга
1.2 прохождение категорий с показом фото 40на40 и названия, цены
1.2 выбор товара модером, вписывание русских названий и описаний,выбор нужных фото
2 полная загрузка товара и фото на наш шоп (отдельный парсер с очередью заданий)
также нужно отслеживание изменений на сайте доноре, внесение изменений в наш шоп