Десктопный парсер выдачи Yandex и Google

Степан19 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
13.02.2009

Требуется разработать десктопное приложение - парсер выдачи поисковых систем Yandex и Google. Требования к разработчику: обязательный опыт разработки подобных парсеров, знание технологий обхода бана поисковиков (использование прокси, подстановка разных user agent и др.) и применение их на практике.

Основные требования:

1. поддержка работы через прокси

2. задание таймаута между запросами

3. работа со списком запросов для парсинга (возможно большое число запросов)

4. работа со словарем (режим парсинга со словарем - подгружаем словарь формата 1 строка = 1 слово и добавляем к каждому запросу по слову, для того чтобы вытащить больше сайтов из выдачи)

5. удаление дубликатов собранных доменов (именно доменов, а не собранных урлов)

6. чистка списка собранных урлов двух видов

очистка урла до вида: domain.ru

очистка урла до вида: http://domain.ru

Оплата только по WebMoney по факту выполнения работы или по частям после промежуточного работающего прототипа программы.

Срок выполнения до понедельника.