Нужен парсер автосайта
Нужен парсер, должен собирать данные с сайта (в личку) и парсить цены на запчасти, описание и картинку где есть. Исходные данные - файл Excel с номерами деталей и названиями брендов (2.000.000 деталей, но парсить все разом не нужно, достаточно скармливать парсеру куски по 500, 1000, или 10000 деталей - не знаю какое количество и как скажется на производитльности).
Как я вижу работу парсера:
1. Берется допустим номер 0131-003, идет поиск точно по номеру, с дефисом, т.к. в поиске выдаются номера и без дефиса.
2. Идет сверка по бренду. Допустим FEBEST. Есть совпадение по номеру и бренду, переходим на следующую страницу.
3. На этой странице все цены посвящены этой детали, берем первые 10 и вычисляем среднюю.
4. Описание берется из 20 первых товаров, от 30 симоволов (настроить регулировку), либо самое длинное.
5. Парсится картинка, складывается в папочку и копируется ее урл, допустим: img/картинка1.jpg
6. Все данные копируются в эксель, либо в тот формат, который легко можно будет скопировать в него.
Подключение к антигейт обязательно. Регулируемая задержка запросов.