Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Необходимо написать скрипт на Python 2.7 сиспользованием библиотеки scrapy,который будет выполнять скрапинг страниц на сайте https://chelyabinsk.flamp.ru исохранять отзывы в файлах формата json. Например, сохранять в файле все отзывы со страницы https://chelyabinsk.flamp.ru/firm/salam_kafe-2111590606323571после нажатия кнопки «Показать ещё отзывы» и после прокрутки этой страницы до

конца.

 

Если открыть эту страницу в Гугл Хром и открыть инструментыразработчика, видим (см файл «flamp1.png»), что при нажатии накнопку «Показать ещё отзывы» выполняется запрос «reviews?limit=5», далее после

страницы прокрутки мышью выполняется запрос «reviews?limit=5&offset_id=3273977»,

далее при прокрутке мышью – запрос «reviews?limit=5&offset_id=2868699» и

т.д. Причём в данных, которые возвращает предыдущий запрос, есть ссылка на

следующий запрос, например, запрос «reviews?limit=5» возвращает ссылку на

запрос «reviews?limit=5&offset_id=3273977»:

"next_link":https://flamp.ru/api/2.0/filials/2111590606323571/reviews?limit=5&offset_id=3273977

 

Данные поступают в формате json, например, текст отзыва – этозначение поля “text” (смфайл «flamp2.png»). Необходимо сохранить вфайле json данные о всех отзывов с указанной страницы. Например, настранице «https://chelyabinsk.flamp.ru/firm/salam_kafe-2111590606323571» есть

27 отзывов на момент 23.08.18. Пусть в файл сохраняются следующие поля: "next_link", "filial_id", "user_id","text", "rating", "date_created",

"source", "user":{"name"},

"official_answer"

 

Работа с библиотекой Scrapy описана здесь:

https://docs.scrapy.org/en/latest/intro/tutorial.html

 

Решение такой же задачи описано здесь:

https://habr.com/post/312816/

 

Будем считать, что задание выполнено, если Вы отправляете мнескрипты Scrapy, которыеуспешно выполняются на моём компьютере (на Python 2.7)

6 лет назад
guest_15350491065366
6 лет в сервисе
Был
6 лет назад