Crawling ссылок в sitemap.xml

Реализовать на баше crawling(переход, открытие страницы, загрузку) по всем ссылкам в sitemap.xml во вложенных sitemap.xml https://bit.ly/3iQiG5j.

Т.е внутри xml, есть еще несколько xml, нужно получить ссылки со всех вложенных xml созданных yaost seo, а потом перейти по ним, при этом нужно после загрузить 100 файлов удалить загруженное и потом парсить дальше.

С файлами ничего делать не нужно, нужно просто загрузить их (прогреть кеш) и удалить.. ежедневно в 3 часа ночи должен запускаться cron)

Нужно использовать самый популярный user agent