Python

Парсер объявлений с сайта cian.ru на Python

Задача

Основные требования:

Python 3.9

Библиотеки Selenium 4, BeautifulSoup, python-telegram-bot

Структура под написание доп. модулей парсинга других площадок.

Из .env берем константы:

1. URL фида

2. Время паузы между повторным обходом по объектам

3. Telegram user ID руководителя

4. Название агентства (чтобы отличать конкурентов)

Примерное описание функционала программы:

1. Парсим код xml-фида по ссылке: ******* с адресами и параметрами объектов

2. По очереди берем данные каждого объекта и находим объявление о его продаже/сдаче в аренду на сайте cian (по адресу и параметрам)

3. Также находим объявления конкурентов(других агентств + собственника) по этому же объекту

4. Сохраняем в файл информацию по этому объекту и конкурентам (цена, сссылка, название агентства/собственник, дату размещения)

5. Если цена объекта в объявлении конкурента ниже, чем в объявлении из xml-фида, то делаем отправку сообщения в Telegram сотруднику, ответственному за этот объект с информацией об объекте/конкуренте/его цене/...

6. После прохода по всем объектам отправить результирующий отчет по всем объектам в Telegram руководителя.