Скрипт сбора и проверки УРЛ
Необходимо написать скрипт (или приложение) для сбора и проверки УРЛ.
Собирать УРЛ нужно из статистики liveinternet.ru и поиска google.ru.
проверять УРЛ нужно через http://webmaster.yandex.ru/check.xml на количество проиндексированных яндексом страниц, того или иного сайта.
ТЗ:
1. Сбор УРЛ из liveinternet.ru
В скрипте указываем УРЛ категории (например http://www.liveinternet.ru/rating/ru/health/month.html - категория медицина, статистика за месяц) и нажимаем кнопку "Собрать и проверить УРЛ". Скрипт должен собрать все УРЛ из этой категории (примерно 22000 сайтов в данной категории) и проверить их на количество проиндексированных в Яндексе страниц. Результат может быть записан в текстовый документ, в виде
4329502 - http://www.babyblog.ru/
3559610 - http://baby.ru/
4247933 - http://www.galya.ru/
и т.д.
Сначала идет число (кол-во проиндексированных яндексом страниц данного урл), затем сам урл.
2. Сбор УРЛ из google.ru
В скрипте указываем поисковый запрос (например "ангина лечение") и нажимаем кнопку "Собрать и проверить УРЛ". Скрипт должен собрать УРЛ первых 100 позиций по данному запросу в гугле и проверить их на количество проиндексированных в Яндексе страниц. Результат может быть записан в текстовый документ, в виде
584 - http://www.miramistin.ru/
211581 - http://health.mail.ru/
121509 - http://www.kid.ru//
и т.д., также как в пункте 1.
ПРИМЕЧАНИЕ: проверка урл в http://webmaster.yandex.ru/check.xml должна производиться как с www так и без. Например сайт kid.ru является зеркалом www.kid.ru, и результатов не будет видно. Ну или как то данный вопрос по другому решить.
БЮДЖЕТ: 1000 ВМР.