Скрапинг (Python 2.7, Scrapy)
Необходимо написать скрипт на Python 2.7 сиспользованием библиотеки scrapy,который будет выполнять скрапинг страниц на сайте https://chelyabinsk.flamp.ru исохранять отзывы в файлах формата json. Например, сохранять в файле все отзывы со страницы https://chelyabinsk.flamp.ru/firm/salam_kafe-2111590606323571после нажатия кнопки «Показать ещё отзывы» и после прокрутки этой страницы до
конца.
Если открыть эту страницу в Гугл Хром и открыть инструментыразработчика, видим (см файл «flamp1.png»), что при нажатии накнопку «Показать ещё отзывы» выполняется запрос «reviews?limit=5», далее после
страницы прокрутки мышью выполняется запрос «reviews?limit=5&offset_id=3273977»,
далее при прокрутке мышью – запрос «reviews?limit=5&offset_id=2868699» и
т.д. Причём в данных, которые возвращает предыдущий запрос, есть ссылка на
следующий запрос, например, запрос «reviews?limit=5» возвращает ссылку на
запрос «reviews?limit=5&offset_id=3273977»:
"next_link":https://flamp.ru/api/2.0/filials/2111590606323571/reviews?limit=5&offset_id=3273977
Данные поступают в формате json, например, текст отзыва – этозначение поля “text” (смфайл «flamp2.png»). Необходимо сохранить вфайле json данные о всех отзывов с указанной страницы. Например, настранице «https://chelyabinsk.flamp.ru/firm/salam_kafe-2111590606323571» есть
27 отзывов на момент 23.08.18. Пусть в файл сохраняются следующие поля: "next_link", "filial_id", "user_id","text", "rating", "date_created",
"source", "user":{"name"},
"official_answer"
Работа с библиотекой Scrapy описана здесь:
https://docs.scrapy.org/en/latest/intro/tutorial.html
Решение такой же задачи описано здесь:
Будем считать, что задание выполнено, если Вы отправляете мнескрипты Scrapy, которыеуспешно выполняются на моём компьютере (на Python 2.7)