Задача: написать Bash-скрипт, который чем-то похож на “поискового паука”, он должен использовать Wget и Grep для выкачивания HTML по ссылкам, которые перечислены в Sitemap сайта.
Алгоритм скрипта:
Wget скачивает все файлы Sitemap.xml, которые указаны в robots.txt сайта
Конвертирует файлы Sitemap.xml в CSV формат
Wget запрашивает HTML-файлы из CSV
Grep чистит HTML код от мусора (по регуляркам)
Складывает файлы на HDD
Примечание: скачивать картинки, CSS и прочую статику не нужно, скачиваем только контент HTML-файлов.
Требования:
Поддержка много-поточности, чтобы управлять скоростью парсинга, выбрав количество одновременных скачиваний
Артефакты:
Структура Sitemap
Структура итоговых папок
Регулярные выражения для очистки от мусора
Проект по обновлению сайта [url=https://www.vesveter.ru/]vesveter.ru[/url] Можем разбить на этапы с разными исполнителями: 1. Необходимо перенести текстовый и медийный контент с сайта на движке Joomla. Реципиент на WordPress, с подготовленным шаблоном [url=http://new.vesveter.ru/]new.vesveter.ru[/url] 2. Сохранить ссылочную структуру сайта, подготовить ...
Имеются наработки системы на php требуется дальнейшее развитие системы. Готовы обсудить в диалоге детали, создать ТЗ
Разработка платформы для отслеживания инвестиций. Проект уже работает. На гите. Стэк: laravel, php7, mysql. Продолжить развитие и разработку по текущим задачам. Сайт: https://beatmarket.one Требования: математический склад ума, сильная расчетная часть ответственность, возможность созваниваться уверенный уровень разработки работа с гит, с ...
Привет! Мы ищем веб-разработчика с опытом создания веб приложений на Bubble. Мы строим прототип маркетплейс приложения в бьюти рынке (поиск и запись к бьюти профессионалам). У нас есть готовое техническое задание и документация к нашему REST ...
Необходимо внедрить функционал, который позволит выводить название товара на листинге в нескольких вариациях по формуле. Сайт- https://mirplitki.ru/. Интернет-магазин сделан на Symfony. Проект сложный, много кастомного. Данный функционал позволит более гибко настраивать текстовую релевантность категорий, ...
Здравствуйте, нужен опытный программист на Laravel который сможет добавить новый функционал на сайте, и доработать нужные моменты, детальную информацию о проекте и о работе вышлю кандидатам, интересует прямой исполнитель. При ответе, укажите пожалуйста какой у вас ...
Нужен разработчик на долгосрочную работу по доработкам и улучшению корпоративного чата. Требуемые навыки - python, vue Оплата по договоренности.
Есть такой Telegram бот, который позволяет создавать чеки с раздачей денег в TON, USDT и других валютах. Функционал его достаточно простой. Владельцы Telegram каналов создают чеки, чтобы их активировать нужно быть подписанным на их канал. Нужно создать ...
макет есть в адало, частично доделать, перенести во флаттер, прикрутить оплату, помочь с публикацией на паркетах,
Добрый день, нужно собрать магазин на Shopify Что должно быть: - каталог - О нас - Корзина - Вопрос/ ответ - Подключённые оплаты -Служба доставки -и т.д Выбираем исполнителя по портфолио. При успешно выполненном проекте возможно долгосрочное сотрудничество.