Подсчет всех внешних ссылок с сайтов

Здравствуйте. Стоит вот какая задача:

Есть список сайтов в txt файле. Необходимо написать программу/скрипт (паука), который обошел бы все страницы этого сайта, и подсчитал количество внешних ссылок с этого сайта. Естественно ссылки должны проверяться на теги noindex, закрытость от индексации с помощью ява-скриптов, robots.txt.

После того, как "паук" обойдет все страницы всех сайтов нужно выгрузить эти данные в БД Mysql на сервер (если это будет программа, то она ес-но будет запускаться из-под Windows, и нужно придумать решения для загрузки данных на сервер.)

Также одно из основных требований - скрипт/программа должна работать в многопоточном режиме.

Хотел бы услышать от Вас цену и сроки. Спасибо.