Требуется DevOps-инженер для работы в умной платформе Postoplan.app. Необходимы навыки администрирования Linux, опыт с Ansible, Docker и Kubernetes. Предоставляется полностью удаленная работа, интересные задачи, 14 дней оплачиваемого отпуска и опционы на долю в компании.
Crawling ссылок в sitemap.xml
Реализовать на баше crawling(переход, открытие страницы, загрузку) по всем ссылкам в sitemap.xml во вложенных sitemap.xml https://bit.ly/3iQiG5j.
Т.е внутри xml, есть еще несколько xml, нужно получить ссылки со всех вложенных xml созданных yaost seo, а потом перейти по ним, при этом нужно после загрузить 100 файлов удалить загруженное и потом парсить дальше.
С файлами ничего делать не нужно, нужно просто загрузить их (прогреть кеш) и удалить.. ежедневно в 3 часа ночи должен запускаться cron)
Нужно использовать самый популярный user agent
Заявки фрилансеров
Похожие заказы
- $2200Системное администрирование1 заявкаЗакрыт4 года назад
Требуется настройка воронки продаж в amo CRM для обработки лидов, поступающих из Facebook, Instagram и с сайта. Необходимо адаптировать систему под специфические требования бизнеса и создать эффективную воронку для работы с клиентами.
Системное администрирование3 заявкиЗакрыт4 года назадТребуется исправить ошибки, выявленные сканировщиком на сайте WordPress, и настроить фид выгрузки товаров для Google Merchant. Фото с ошибками во вложении.
Системное администрирование1 заявкаЗакрыт4 года назадНеобходимо установить и настроить Varnish 4 для работы с Nginx и Wordpress, включая очистку кеша через mod_pagespeed. Реализовать отображение кэшированных страниц независимо от дополнительных параметров в URL. Задача включает замену текущего nginx proxy cache на Varnish для обеспечения ручной очистки кеша.
Системное администрированиенет заявокЗакрыт4 года назадТребуется обновить SSL-сертификат для сайта, разработанного на Joomla. Необходимо выполнить настройку сертификата и проверить его работоспособность на сайте. Ожидается знание системного администрирования и работы с Joomla.
Системное администрирование1 исполнительЗавершен4 года назадНеобходимо провести диагностику сервера, на котором установлены nginx и apache. Проблема заключается в том, что POST-запросы обрабатываются как GET, что отражается в логах. Требуется выяснить причину и предложить решение для исправления данной ситуации.
Системное администрирование2 заявкиЗакрыт4 года назадТребуется настройка Битрикс 24 для обеспечения корректного приема заявок через все источники. Необходимо также подредактировать текущие настройки внутри системы. Ищем специалиста по системному администрированию, который поможет решить данные задачи.
Системное администрирование2 заявкиЗакрыт4 года назад- $45
Требуется установить OpenCart 3 на VPS с Ubuntu 20 и Nginx. Необходима интеграция купленного шаблона с ThemeForest и настройка демо данных. Субдомен, база и пользователь для магазина уже созданы.
Системное администрирование1 исполнительЗавершен4 года назад Требуется помощь в переносе сайта с UCOZ на хостинг Beget. Необходимо обеспечить минимальные потери трафика и решить вопросы, связанные с миграцией. Ищется недорогая и реальная помощь, так как текущий сайт страдает от рекламы UCOZ.
Системное администрирование1 исполнительЗакрытнет даты