Парсер цен на nodejs
Необходим парсер на nodejs, который будет собирать цены с заданного списка сайтов.
Количество сайтов, порядка 40 штук, все имеют разную структуру. Где-то каждый
товар находится на отдельной странице, где-то у каждой категории своя
страница и все товары представлены на ней, где-то все товары указаны в
виде таблицы на одном сайте.
Номенклатура ограничена 3-4 категориями, в каждом по 5-10 товаров.
Алгоритм работы парсера:
- парсер через заданный список прокси поочерёдно заходит на каждый из 40 сайтов
- для каждого сайта используется свой обработчик, который используя селекторы вытаскивает нужные данные о ценах
- цены систематизируются в виде ассоциативного массива и после завершения
их сбора с конкретного сайта заносятся в базу данных mysql с указанием
датывремени запроса
Требование к структуре:
- использование асинхронных запросов к сайтам
- если данные не удалось загрузить, эта информация должна записаться в лог файл
- обработчики должны выполняться в виде отдельных классов, чтобы при
необходимости можно было переделывать каждый обработчик и добавлять
новые