Парсер доменов выдачи Direct.Yandex.ru

Веб-программированиеЗакрыт1 заявка273 просмотра
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Есть поисковая выдача Яндекс.Директа - https://direct.yandex.ru/search

Требуется написать парсер доменов данной выдачи.

Парсер берет поочередно запросы из файла keywords.txt, вставляет их в https://direct.yandex.ru/search и идёт по всем страницам выдачи (этих страниц немного, как правило), сохраняя домены сайтов этой выдачи в файл domains.txt

Должна быть настройка задержек:

1. Задержка перехода по страницам выдачи по каждому запросу.

2. Задержка по каждому ключевому запросу.

3. Когда парсер обрабатывает последний запрос из файла keywords.txt - он чистит файл domains.txt на дубликаты.

4. Другие задержки (какие предложите).

Запросов в файле keywords.txt может быть много (5000-10000 тысяч).

Парсер должен уметь работать с SOCKS5\4, HTTPS-прокси!

Должна быть возможность работать в многопоточном режиме.

8 лет назад
andreymrf
Ломов 
42 годаРоссия
8 лет в сервисе
Был
8 лет назад