Разработка парсера для сбора данных с маркетплейсов Wildberries, Kaspi

1. Цель проекта: Разработка парсера для сбора данных с маркетплейсов Wildberries, Kaspi.kz, KDB KZ, Yandex.Market, Ozon и Uzum.

2. Требования к парсеру:

1. Сбор данных: Парсер должен иметь возможность собирать данные, такие как названия товаров, цены, описания, изображения и другие необходимые атрибуты.

2. Поддержка множества маркетплейсов: Парсер должен быть способен работать с разными маркетплейсами, указанными выше.

3. Стабильность: Парсер должен быть стабильным и устойчивым к изменениям в структуре веб-сайтов маркетплейсов.

4. Скорость: Парсер должен быть эффективным и иметь возможность собирать данные с нескольких страниц маркетплейса параллельно, чтобы увеличить скорость сбора данных.

5. Обработка ошибок: Парсер должен обрабатывать ошибки, такие как блокировки IP-адресов или изменения структуры страниц, и уведомлять администратора в случае проблем.

6. Обновление данных: Парсер должен иметь возможность периодически обновлять данные, чтобы учитывать изменения в предложении на маркетплейсах.

7. 
   
   

8. Структура собираемых данных будет делиться на 2:
   a) товары
   б) продавцы

9. Начать парсинг необходимо со страницы категории. В каспи есть 3 уровня категорий.
   Вертикаль -> категория 2-го уровня -> категория 3-го уровня. Где самый мастер - это вертикаль и идет дальше
   https://kaspi.kz/shop/c/categories/
   

10. Структура данных по товарам:
    
    Товар: {
    “id”: нужно брать sku, номер артикуля. Ниже на фото выделенный артикуль

“title”: наименование товара
“vertical”: вертикаль,
“2_level_category”: категория 2-го уровня,
“category”: категория 3-го уровня,
“amount_of_reviews”: кол-во отзывов

“price”: цена на фото выше
“reviews”: список всех отзывов по товару. 
[{ “rating”: от 1 до 5 исходя из звездочек,
  “dignity”: достоинства,
    “flaws”: недостатки,
    “comment”: комментарий,
    “date”: дата отзыва

}]

“amount_of_sellers”: количество продавцов,
“characteristics”: большой текст как на фото ниже.

1. Структура данных по продавцам. Необходимо будет собирать уникальные данные по продавцам. Пример ниже открывается только с мобильной версии сайта. 

https://kaspi.kz/shop/info/merchant/magnum/reviews-tab/?merchantId=Magnum

Продавец:{

“title”: наименование продавца,
“amount_of_reviews”: кол-во отзывов,
“phone”: номер телефона,
“amount_of_orders”: кол-во успешных продаж,

“start_date”: дата начала продаж,
“rating”: от 1 до 5 исходя из звездочек,
“reviews”: список отзывов по продавцу [{
“rating”: от 1 до 5 исходя из звездочек,
“date”: дата отзыва,
“comment”: комментарий
}]
товары: список товаров []