Парсер магазина Авито

Использован ЯП Python.

Программный Комплекс для парсинга конкретного магазина на платформе Авито. Его задачей было сдампить все товары магазина, а именно:

• Цена в рублях
• Расчет цены в злотых
• Описание
• Фотографии, включая основную

Дополнительные задачи решаемые Комплексом:

• Комплекс решает проблему блокировки IP адреса по причине подозрения в том, что клиент является ботом посредством использования 10 комплектов заголовков и смены IP на роутере в случае получения блокировки.
• Комплекс предусматривает возможность продолжения парсинга сайта с места остановки, в т.ч. программы.
• Комплекс предусматривает возможность парсить новые товары, ранее не обработанные

После парсинга всех товаров их надлежало загрузить в магазина на платформе OpenCart. Это было реализовано через формирование Excel таблицы с помощью Комплекса, данные взяты из сформированной ранее при парсинге базы данных MySQL.

В общем сложности данный Комплекс обработал 1500 товаров за 5 часов с учетом динамического обхода блокировок Авито.

Дисклеймер: пароли, имеющиеся в исходном коде являются единовременными, использованными в изолированном окружении при разработке и применении Комплекса для решения задачи Клиента. Более нигде не использованы и не представляют объективной ценности.

Исходный код: https://github.com/str90/avito_shop_parser