Скрипт, собирающий список страниц сайта

$10
Веб-программированиеЗакрыт2 заявки150 просмотров
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Нужно написать PHP скрипт, который собирает список всех страниц указанного сайта.

То есть мы указываем в переменной URL сайта и должны в итоге получить список всех его страниц.

Скрипт не должен зависеть от ограничений хостинга, на котором выполняется. То есть, не должен быть сильно требовательным к оперативной памяти (128M - это нормлаьно), а если на сервере есть ограничение по времени работы скрипта, то после остановки скрипт должен перезапуститься и продолжить работу и так до тех пор, пока задача полностью не будет выполнена.

Код должен быть легко читаемым и вмеру закоментированным, чтобы можно было разобраться в нем.

Для выполнения скрипта задаются переменные:

$site - сайт, который надо спарсить. Например http://www.thule.com

$site_start - "стартовый" раздел для парсинга. То есть тот раздел, который надо спарсить. Например, http://www.thule.com/ru-ru/ru/ - парсим только раздел на русском языке.

$excludes - массив исключений. Если в УРЛе встречается одно из этих исключений, эту страницу мы не парсим. Например:

$excludes = array ("/en/", "forgottenpassword", "my-account/") - "запрещаем" для парсинга англоязычный раздел, страницу напоминания пароля и личный кабинет.

$depth - глубина "прохода" сайта при парсинге. 1 - парсим только главную страницу. 2 - проходим все страницы 2-го уровня и т.д.

PHP
9 лет назад
584
48 летРоссия
12 лет в сервисе
Был
2 года назад
  • Похожие заказы

  • Настройка сайта для Google Analytics

    Необходимо разместить на сайте и настроить скрипт позволяющий Гуглу отслеживать события и настроить отображение данных событий в Google Analytics. Подробнее: https://developers.google.com/analytics/devguides/collection/analyticsjs/events

    Веб-программирование3 заявки
    Закрыт
    9 лет назад

  • Доработка 1С "Управление торговлей", редакция 10.3 (10.3.29.1)

    Нужно сделать возможность комплектации товаров с услугой. Есть услуга “Заправка картриджа” - (ее комплектую товаром: тонер, чип, ракель) и когда провожу реализацию на услугу "Заправки картриджа", у меня со склада списывается весь товар, который укомплектован в ...

    1С
    Веб-программирование1 заявка
    Закрыт
    9 лет назад

  • Настройка слайдера на CMS Bitrix

    на сайте есть новый функционал в виде слайдеров фото и видео материалов, при больших и средних объемах информации в этих слайдерах существенно тормозит сайт. Данные слайдеры сделаны стандартными средствами битрикса, т.е. при загрузке страницы загружается ...

    AjaxБитрикс
    Веб-программирование5 заявок
    Закрыт
    9 лет назад

  • Парсер интернет магазина

    на php. Требуется парсер данных о товарах, в базу данных mql формата. Запускаться парсер будет на VDS сервере через cron (это очень важно)! Так же нужен полный перевод данных через гугл или другой переводчик. Особенно важны ...

    PHP
    Веб-программирование7 заявок
    Закрыт
    9 лет назад

  • Плагины для ShopCMS и Cotonti

    $150

    Требуется веб программист для периодического сотрудничества для написания различных плагинов под движок магазина ShopCMS и CMF Cotonti. На данный момент нужно несколько плагинов и модификаций под ShopCMS. Оплата после работы, можно делить на части. Не пишите ...

    Веб-программирование3 заявки
    Закрыт
    9 лет назад

  • Необходимо спарсить два сайта

    Есть два рабочих сайта, нужно спарсить все товары и структуру данных товаров и развернуть данные товары с той же структурой на любой CMS (платной или бесплатной), дизайн абсолютно любой. В итоге у нас получается два новых ...

    Веб-программирование1 исполнитель
    Завершен
    9 лет назад

  • Дубли страниц в Wordpress

    Приветствую Сайт работает на движке Wordpress Сейчас очень много постов с одинаковыми названием и описанием поста (но разные допольнительные поля), когда переходишь в этот пост, то там выводятся сразу все посты списком - это не очень красиво. Необходимо ...

    WordPress
    Веб-программирование2 заявки
    Закрыт
    9 лет назад