Парсер магазина Авито

Прикладное ПО
58 просмотров
28.01.2021
1334×96363 КБ
5.PNG

Использован ЯП Python. Программный Комплекс для парсинга конкретного магазина на платформе Авито. Его задачей было сдампить все товары магазина, а именно: [list][*]Цена в рублях[*]Расчет цены в злотых[*]Описание[*]Фотографии, включая основную[/list] Дополнительные задачи решаемые Комплексом: [list][*]Комплекс решает проблему блокировки IP адреса по причине подозрения в том, что клиент является ботом посредством использования 10 комплектов заголовков и смены IP на роутере в случае получения блокировки.[*]Комплекс предусматривает возможность продолжения парсинга сайта с места остановки, в т.ч. программы.[*]Комплекс предусматривает возможность парсить новые товары, ранее не обработанные[/list] После парсинга всех товаров их надлежало загрузить в магазина на платформе OpenCart. Это было реализовано через формирование Excel таблицы с помощью Комплекса, данные взяты из сформированной ранее при парсинге базы данных MySQL. В общем сложности данный Комплекс обработал 1500 товаров за 5 часов с учетом динамического обхода блокировок Авито. Дисклеймер: пароли, имеющиеся в исходном коде являются единовременными, использованными в изолированном окружении при разработке и применении Комплекса для решения задачи Клиента. Более нигде не использованы и не представляют объективной ценности. Исходный код: https://github.com/str90/avito_shop_parser
MySQLOpencartPython