Парсер выдачи яндекса

Веб-программированиеЗакрыт4 заявки284 просмотра
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Требуется написать скрипт, который будет парсить выдачу яндекса по ключевым словам из списка.

Скрипт будет лежать на vds (unix), к vds будет прикуплено порядка 100 IP - если надо то и значительно больше(т.к. яндекс банит запросы то нужно соотвественно предусмотреть оптимальную работу - задержки и т.д.), база слов будет ооочень большая, порядка нескольких десятков милионов слов, каждый с новой строки. Из выдачи берутся только домены, вторая часть скрипта отсеивает дубликаты доменов.

Т.е. по сути нам нужно выпарсить домены проиндексированные яндексом, притом чтобы это не затянулось на год. Количество запросов которое произведется будет порядка 800 милионов запросов к яндексу(понимаю что скрипт будет работать не одну неделю чтобы выполнить эту задачу) :)

Указывайте пожалуйста цену, вариант как и на чем это будет реализовано.

P.S. задачи парсинга требуются часто, так что возможно долговременное сотрудничество.

Unix
15 лет назад
Borodach
Олег 
41 годРоссия
17 лет в сервисе
Был
2 года назад