Парсер на selenium web driver, С#
Реализация в виде консольной утилиты. Необходима многопоточность, с возможность задать количество
потоков в настройках программы, например в
App.config.
Предоставить исходные коды в конце реализации.
Необходимо парсить несколько языковых версий, одного сайта.
Сайт может требовать hCaptcha, по этому необходимо внедрить сервис
https://anti-captcha.com. Доступ к https://anti-captcha.com будет предоставлен.
Товары и прочие данные необходимо складывать в удаленную mysql базу в определенную структуру. Внесение изменений в структуру базы обсуждаемо.
Предвидеть возможность внесение/изменения настроек соединений mysql, например в App.config
Если входящие настройки предвидеть как то по другому, не в «App.config» то предвидеть возможность из задать при запуске парсера с командной строки с помощью планировщика.
Остальные требования:
c# .net framework
MySql.Data 8.0.31 или новее
Selenium.Chrome.WebDriver 85.0.0 или новее
Предвидеть возможность работу через прокси. С возможность отключить прокси, то есть работать напрямую или через прокси. Список прокси будет размещено отдельно в txt файле, рядом с exe программы, каждое прокси с новой строки \r\n. Утилита должна уметь переключаться по списку прокси, если они не рабочие или заблокированы. Считывание файла с проксями и настройками о включении/отключении прокси должно происходить налету,
в процессе работы программы. То есть, если запустили утилиту без прокси, то в
процессе можно включить работу через прокси. Так же с файлом прокси, периодически
должен перечитываться, на предмет добавления новых прокси.
Необходимо парсить определенные категории сайта:
Autovaruosadonline/Эстонская версия
Моторное масло https://www.autovaruosadonline.ee/varuosade/mootorioli.html
Аккамуляторы: https://www.autovaruosadonline.ee/varuosade/kaivitusaku.html
Автомобильные аксессуары https://www.autovaruosadonline.ee/autotarvikud.html
Автохимия: https://www.autovaruosadonline.ee/autokeemia.html
Инструменты https://www.autovaruosadonline.ee/tooriistad.html
Шины: https://www.autovaruosadonline.ee/rehvipood/autorehvid.html
Те же категории на английской версии:
https://www.onlinecarparts.co.uk
А так же финской:
Полная информация в ТЗ.