Спарсить страницы 2-х сайтов
Иван13 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
09.07.2014
Нужно спарсить урлы конечных страниц сайта и сохранить их в csv. Всего - 2 сайта:
http://searchenginejournal.com
http://www.searchenginejournal.com/sitemap.xml
тут идём на конечные страницы карты:
http://www.searchenginejournal.com/sitemap-pt-post-2014-07.xml
и сохраняем все урлы в виде:
url страницы;url раздела; дата
--
здесь парсим страницы их каждого раздела, используя пейджинг.
сохраняем в виде:
url страницы;url раздела; дата
30 wmz