Нужен скрипт для создания карты сайта
Обязательное условие - файлы карты сайта должны быть на ХТМЛ, не ХМЛ !
Скрипт должен создавать карты очень больших сайтов, например,lib.aldebaran.ru. В такой карте сайта будет несколько сот тысяч урлов
В скрипт задается:
1) урл сайта (например, lib.aldebaran.ru)
2) исключения (например , http://lib.aldebaran.ru/author/adamson ), если скрипт видит урл, который начинается на урл-исключение, то он его игнорирует, в базу не записывает и дальше не переходит.
3) количество урлов на странице (я могу задать и 100, и 1000, и 10000)
Результат работы скрипта:
1) Нулевая страница-оглавление, которая содержит ссылки на все страницы карты сайта и на себя саму.
2) Страницы с 1 по последнюю. Каждая такая страница содержит 2.1) Ссылки, найденные скриптом в заданном количестве 2.2) Анкор каждой ссылки является титлом соответствующей страницы 2.3) Внизу - ссылки как в нулевой странице из п 2.1 2.4) Ссылки расположены одна под другой, 1 ссылка на 1 строчке
3) Страницы карты сайта имеют титл (карта такого-то сайта, страница 5, допустим...)
4) В процессе работы скрипт должен писать хоть что-то чтобы я видел, что он не висит, а работает
5) Скрипт должен быть быстрым, чтобы за приемлемое время (до нескольких часов), он смог сделать сайт типа lib.aldebaran.ru
6) Желательно, чтобы найденные ссылки выдавались в алфавитном порядке