Десктопный парсер выдачи Yandex и Google
Требуется разработать десктопное приложение - парсер выдачи поисковых систем Yandex и Google. Требования к разработчику: обязательный опыт разработки подобных парсеров, знание технологий обхода бана поисковиков (использование прокси, подстановка разных user agent и др.) и применение их на практике.
Основные требования:
1. поддержка работы через прокси
2. задание таймаута между запросами
3. работа со списком запросов для парсинга (возможно большое число запросов)
4. работа со словарем (режим парсинга со словарем - подгружаем словарь формата 1 строка = 1 слово и добавляем к каждому запросу по слову, для того чтобы вытащить больше сайтов из выдачи)
5. удаление дубликатов собранных доменов (именно доменов, а не собранных урлов)
6. чистка списка собранных урлов двух видов
очистка урла до вида: domain.ru
очистка урла до вида: http://domain.ru
Оплата только по WebMoney по факту выполнения работы или по частям после промежуточного работающего прототипа программы.
Срок выполнения до понедельника.