Создание индексации сайта

Нужно написать скрипт, который будет обходить сайт и собирать различные данные:

-уровень вложенности страницы (главная/второй уровень/третий/четвертый/...)

-тайтл и метатеги

-текст страниц (в тегах )

-исходящие ссылки со страницы

при повторном запуске спрашивал и в зависимости от ответа:

1. смотрел на появление новых страниц.

2. производил индексацию проекта заново.