Парсер на selenium web driver, С#

Прикладное ПОЗакрыт2 заявки465 просмотров
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Реализация в виде консольной утилиты. Необходима многопоточность, с возможность задать количество

потоков в настройках программы, например в

App.config.

Предоставить исходные коды в конце реализации.

Необходимо парсить несколько языковых версий, одного сайта.

Сайт может требовать hCaptcha, по этому необходимо внедрить сервис

https://anti-captcha.com. Доступ к https://anti-captcha.com будет предоставлен.

Товары и прочие данные необходимо складывать в удаленную mysql базу в определенную структуру. Внесение изменений в структуру базы обсуждаемо.

Предвидеть возможность внесение/изменения настроек соединений mysql, например в App.config

Если входящие настройки предвидеть как то по другому, не в «App.config» то предвидеть возможность из задать при запуске парсера с командной строки с помощью планировщика.

Остальные требования:

c# .net framework

MySql.Data 8.0.31 или новее

Selenium.Chrome.WebDriver 85.0.0 или новее

Предвидеть возможность работу через прокси. С возможность отключить прокси, то есть работать напрямую или через прокси. Список прокси будет размещено отдельно в txt файле, рядом с exe программы, каждое прокси с новой строки \r\n. Утилита должна уметь переключаться по списку прокси, если они не рабочие или заблокированы. Считывание файла с проксями и настройками о включении/отключении прокси должно происходить налету,

в процессе работы программы. То есть, если запустили утилиту без прокси, то в

процессе можно включить работу через прокси. Так же с файлом прокси, периодически

должен перечитываться, на предмет добавления новых прокси.

Необходимо парсить определенные категории сайта:

Autovaruosadonline/Эстонская версия

Моторное масло https://www.autovaruosadonline.ee/varuosade/mootorioli.html

Аккамуляторы: https://www.autovaruosadonline.ee/varuosade/kaivitusaku.html

Автомобильные аксессуары https://www.autovaruosadonline.ee/autotarvikud.html

Автохимия: https://www.autovaruosadonline.ee/autokeemia.html

Инструменты https://www.autovaruosadonline.ee/tooriistad.html

Шины: https://www.autovaruosadonline.ee/rehvipood/autorehvid.html

Те же категории на английской версии:

https://www.onlinecarparts.co.uk

А так же финской:

www.topautoosat.fi

Полная информация в ТЗ.

MySQLSelenium
год назад
vajerskin
37 летУкраина
7 лет в сервисе
Был
год назад