YaProxy - поисковый робот

Робот, заточен под Яндекс. Задача – на входе получает список фраз (Excel), формирует на основании настраиваемого списка дополнительных вариаций к фразам окончательные фразы поиска, запрашивает яндекс – получает страницы выдачи и складирует их куда указано.

К сожалению, роботы в терминологии Яндекса называемые «хорошими», т.е. прошедшие регистрацию в Яндексе, несколько не удовлетворяют по двум причинам - фраз больше 1000, а «хороший» робот может только тысячу в сутки получить, и результат XML запроса для робота может отличаться от вида страницы, полученной обычным «человеческим» путем. Этог все описано на самом Яндексе «Лицензия на поиск» (http://company.yandex.ru/legal/termsofuse/). Наверное, можно как-то «по человечески» договориться – о большем числе фраз, либо еще каким-нибудь официальным образом, но пока контора не созрела до таких взаимоотношений.

Саму контору интересует в Яндексе только своя контора – более ничего. Суть в том, что интересуют ссылки определенного формата, а не просто нахождение сайта конторы на какой-то позиции. По сути, заменяет 10 человек, которые целый и каждый день сидели бы и вводили искомые фразы в браузере.

Путь с роботом – он да, позволяет до 50 000 фраз обработать в течении нескольких часов, не смотря на очень серьезную защиту Яндекса, и на бесконечные баны прокси. Однако, формат выдачи меняется, защита крепнет. Это решения на пару месяцев, и потом надо снова менять подход, поправлять методику работы с проксями. Так что – считаю это временной мерой, и ратую за легальное пользование сервисами глубоко уважаемой мною команды Яндекс.