Парсинг сайта (добываем информацию из iframe)
Парсинг сайта (добываем информацию из iframe)
Парсим каждую из внутренних страниц сайта https://hpjav.tv (осторожно, эротика).
Пример страницы: https://hpjav.tv/73064/dtt-009
Шаг 1. Находим 7 iframe (2 типа) на каждой странице.
Шаг 2. В каждом из iframe находим ссылку на сайт (сохраняем в файл), ссылку на графический файл баннера (сохраняем в файл).
Шаг 3. Переходим по ссылке на сайт (взяли из iframe), (при этом отслеживаем все промежуточные страницы - сохраняем в файл).
Шаг 4. После окончания загрузки (и автоматического прохождения всех промежуточных страниц) - сохраняем финальный URL в файл.
Шаг 1-4 нужно повторить для каждого из 7 iframe на странице.
Вот дополнительная видео-инструкция (осторожно, эротика) https://drive.google.com/open?id=1fSolE2mq_PyofS7RYfDoPxlM5ks-GkK_
Результат должен быть в виде .csv файла со структурой строки (для каждого баннера своя строка):
ссылка на графический файл баннера - URL ; ссылка на сайт - URL ; промежуточные переходы если это возможно (URLs) ; финальный URL
Я должен запускать парсинг самостоятельно на своем сервере.
Технологии: на ваше усмотрение Python + Selenium или zennoposter или что-то аналогичное.