Парсер advse.ru

1. Есть исходные данные – список ключевиков в формате txt  

2. Парсер берет ключевик по одному и делает по нему запрос в системе advse.ru, после чего система выдает список сайтов – joxi.ru/L4AkYqNuDV9Qmq  

3. Далее надо нажать на "Хочу получить весь список" – joxi.ru/9E2pwqGhDjo8mY, чтобы система перешла на другую страницу  

4. На этой странице нужно нажать "ПОЛУЧИТЬ ПОЛНЫЙ ОТЧЁТ"(Доступен в про-версии, аккаунт есть), после чего формируется эксель файл со всеми доменами. 

5. Эти домены нужно спарсить в итоговый txt файл.  

6. После этого берется следующая строчка из списка ключевиков и по ней также собирается информация  

Нужна многопоточность. Нужна шкала завершения прогресса (например, считается количество пропарсенных фраз к количеству всех фраз). По завершении парсинга должен быть информер – "Парсинг завершен". Примерный интерфейс софта – joxi.ru/DBA0ZoBuYqQ8m  

Какую-то фичу нужно предусмотреть на случай отвалившегося инета или рухнувшего адвсе при длительном парсинге. Чтобы заново не перепаршивать, а автоматом или вручную легко с нужной позиции запустить, когда все заработает. И чтобы при этом не потерялись данные о доменах, которые рекламируются по ключу, на котором все рухнуло и отвалилось.