Универсальный парсер каталогов

Нужно создать универсальный парсер каталогов для поиска новых сайтов.

---

МиниТЗ:

Пользователь задает адрес каталога, который нужно распарсить.

Скрипт

1. ходит по ссылкам

2. отбирает самостоятельные домены

3. проверяет, есть на них сайт

4. если есть, считает, сколько у сайта страниц, сколько страниц в индексе Яндекса и Гугла

5. если есть какая-то система статистики (LiveInternet, Mail.RU, Rambler, Hotlog, Spylog и др.),

показывает, сколько у сайта хостов за сутки.

6. запоминает сайт и его показатели

7. выдает пользователю результаты на экран, и в виде текстового табличного файла

8. пользователь может задать диапазон выдачи результата в определенном количестве страниц,

наличию/отсутствию статистики, количеству хостов за сутки.

---

Парсер может быть как в виде скрипта, так и в виде десктопного приложения.

Предложения присылайте в личку.