Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Реализовать на баше crawling(переход, открытие страницы, загрузку) по всем ссылкам в sitemap.xml во вложенных sitemap.xml https://bit.ly/3iQiG5j.

Т.е внутри xml, есть еще несколько xml, нужно получить ссылки со всех вложенных xml созданных yaost seo, а потом перейти по ним, при этом нужно после загрузить 100 файлов удалить загруженное и потом парсить дальше.

С файлами ничего делать не нужно, нужно просто загрузить их (прогреть кеш) и удалить.. ежедневно в 3 часа ночи должен запускаться cron)

Нужно использовать самый популярный user agent

3 года назад
emlax
32 годаУкраина
6 лет в сервисе
Был
2 года назад