PHP

Проверить наличие sitemap.xml  (файлов sitemap .xml может быть несколько) И вывести список в один столбец все урлы сайта.

Итак, на вхоже любой домен. На выходе все страницы сайта списком.

Пример обычных карт сайта

sitedozor.ru/sitemap.xml

hyperhost.ua/sitemap.xml

Пример карт сайта, состоящих из кусков

foxtrot.com.ua/sitemap.xml

searchengines.guru/dbseositemap.php

Алгоритм простой. Для заданного домена лезем в  robots.xt

и ищем директиву Sitemap: 

если она есть, то это имя карты сайта. Иначе пробуем загрузить стандартное имя домен/sitemap.xml

Если в карте указаны куски как в примере foxtrot.com.ua/sitemap.xml

...

то в цикле проходимся по всем кускам.

На выходе список урлов, которые расположены в директиве

    url

...