Консультация (скрипт) по парсингу сайта

Веб-программированиеЗавершен6 заявок180 просмотров
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Есть сайт, страницы которого генерируются ajax-ом. Нужен скрипт (программа),которая бы сохраняла хтмл-код уже полностью сформированных страниц в отдельные txt-файлы.

Конкретно, на примере, страница сайта https://www.scoreboard.com/ru/team/hc-yugra/CpX7KoQr/results/, каждая строчка результата матча – это ссылка на статистику матча. Задача –

открыть все ссылки с результатами, дождаться полной загрузки статистики, и

сохранить хтмл-код полученной страницы в txt-файл с уникальным названием в папку с названием, к примеру,именем команды.

уточненное

Цель - нужен скрипт или программа, которая бы позволяла сохранять HTML-код страниц, ссылками на которые являются результаты матчей на типовых страницах, вроде этой - https://www.scoreboard.com/team/ska-st-petersburg/zVJwe4ER/results/ (английская версия сайта) . HTML-код сохраненных страниц должен содержать полный код, который отображается в браузере с учетом всех динамических элементов, подгружающихся AJAX-ом при заходе на страницы.

Все эти страницы с подробными результатами матча должны сохраняться отдельными txt-файлами в папке с названием команды и видом спорта (желательно). Кодировка файлов UTF-8. Названия txt-файлов чтобы начинались с порядкового номера в таком же порядке каком они идут на странице, а остальная часть названия составлялась из названий команд, даты, времени и счета, т.е. в формате (все в нижнем регистре)

(порядковый номер)_(название команды 1)_(название команды 2)_(дата)_(время)_(счет).txt

Названия уже на английском, так что по идее проблем не должно возникнуть.

Также нужно будет сделать проверку на наличие файла в папке (та и проверку наличия самой папки - если папка есть, то в нее и загружать), чтобы при повторной выкачке те результаты, которые уже есть, заново не загружались. И также хотелось бы чтобы можно было указывать количество выгружаемых результатов за раз - пусть всегда считает с начала списка, т.е. самые последние результаты, чтобы не тянуло сразу 150 штук. А, и самое главное чуть не забыл - нужно же сделать возможность указывать папку, в которой будет все создаваться (не ту папку, которая будет создаваться для txt-файлов, а просто папку, в которой будет все создаваться/сохраняться, какая нибудь произвольная).

Парсинг сайтаHTMLAjax
6 лет назад
slavik1985
39 летУкраина
12 лет в сервисе
Был
год назад
Выбранный исполнитель
gladishevap
Алексей 
33 годаСербия
8 лет в сервисе
Был
2 месяца назад
6 лет назад
$23
1 день
спасибо-сделал быстро и обьяснил, если будут подобные задачи-буду обращаться, качественно и недорого
Всё прошло хорошо, и в плане проекта и в плане оплаты. Заказчик составил подробное ТЗ, вежлив в общении, постоянно на связи. Интересная задача. Рекомендую!