Необходимо написать парсер для сбора данных с сайта

Прикладное ПОЗакрыт7 заявок33 просмотра
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Необходимо написать парсер для сбора данных с сайта

  • В папке с парсером должна быть инструкция - как его запускать (если вдруг сервер перезагрузится)
  • Каждая вакансия записывается с новой строки в формате: ;Ссылка;телефон;телефон2;имя менеджера;вакансия;почта;компания;
Если каких-то данных нет, например названия вакансии, то результат должен выглядеть так: ;Ссылка;телефон;телефон2;имя менеджера;;почта;компания;

  • Помимо txt файла result.txt парсер должен собирать данные (дублировать) и в txt файл arhive.txt, который также находится в директории проекта. Это архив со всеми данными, собранными ранее. В нем данные храняться также как и в result.txt. Мы будем раз в день забирать данные из result.txt (и чистить файл), а в arhive.txt они будут оставаться.
  • Необходимо, чтобы парсер работал без остановки, собирая новые данные с сайта. Когда он пройдет по всем объявлениям на сайте - необходимо собирать заново. Парсер должен работать круглые сутки и собирать все обновленные данные на сайте. Раз в день файл должен отправляться в чат телеграмм и после этого чиститься, в файле же архив данные не удаляются
  • Также важно, чтобы парсер собирал все данные, не пропуская ни одной страницы с объявлением. Поэтому нужно сделать запросы или регулярные выражения максимально надежными
  • Чтобы собрать все данные возможно потребуется сгенерировать ссылки на выдачу с различными фильтрами так как по одному фильтру как правило доступно ограниченное количество вакансий. Но нам необходимо, чтобы собирались объявления по всей России, в каждом городе. На текущий момент работает логика, когда в отдельном списке присутствует множество ссылок на поисковые выдачи с различными параметрами, парсер собирает по всем данные, удаляя дубли.
Список сайтов, по которым нужны парсеры отправим. Это любые работные сайты (если есть предпочтение - можете выбрать сами и написать). Начнем с одного сайта - парсера, если работа будет выполнена хорошо - готовы продолжить работать дальше
год назад
guest_16855388298861
Россия
год в сервисе
Была
23 дня назад