Парсер магазина Авито
Использован ЯП Python.
Программный Комплекс для парсинга конкретного магазина на платформе Авито. Его задачей было сдампить все товары магазина, а именно:
[list][*]Цена в рублях[*]Расчет цены в злотых[*]Описание[*]Фотографии, включая основную[/list]
Дополнительные задачи решаемые Комплексом:
[list][*]Комплекс решает проблему блокировки IP адреса по причине подозрения в том, что клиент является ботом посредством использования 10 комплектов заголовков и смены IP на роутере в случае получения блокировки.[*]Комплекс предусматривает возможность продолжения парсинга сайта с места остановки, в т.ч. программы.[*]Комплекс предусматривает возможность парсить новые товары, ранее не обработанные[/list]
После парсинга всех товаров их надлежало загрузить в магазина на платформе OpenCart. Это было реализовано через формирование Excel таблицы с помощью Комплекса, данные взяты из сформированной ранее при парсинге базы данных MySQL.
В общем сложности данный Комплекс обработал 1500 товаров за 5 часов с учетом динамического обхода блокировок Авито.
Дисклеймер: пароли, имеющиеся в исходном коде являются единовременными, использованными в изолированном окружении при разработке и применении Комплекса для решения задачи Клиента. Более нигде не использованы и не представляют объективной ценности.
Исходный код: https://github.com/str90/avito_shop_parser
MySQLOpencartPython