Харвестер/парсер html страниц

$150
Веб-программированиеЗакрыт5 заявок227 просмотров
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Нужно разработать по сути 3 скрипта (или один, но который умеет делать три задачи):

1. обходит заданные сайты и собирает на них url на страницы, которые попадают под определенный шаблон.

(например, страница содержит заданный текст)

2. по собранным url получает страницы, парсит html (regexp, tidy или еще что то) и формирует xml файл.

3. на основе xml файла формирует пакетные задания для утилиты wget для загрузки файлов.

Есть первая версия скрипта п.п.1,2. Ее можно или доработать (что вряд ли) или просто взять за основу для информации. Так как она была написана очень быстро и для развития мало пригодна.

Цель - получить скрипты, которые без сильного изменения кода можно настраивать на другие схожие сайты. Т.е. все что можно вынести в настройки, шаблоны и т.д. надо вынести. Понятно, что сделать сразу универсального робота нельзя. Но надо получить такую структуру кода, чтобы я потом мог сравнительно легко его адаптировать под другой сайт с другими условиями отбора страниц. Т.е. есть ядро и есть какая то часть которая меняется для конкретного сайта.

Так же важно понимать, что могут быть разные кодировки у страниц и у БД, что при формирование xml надо заменять спец. символы html и т.д. - ну то есть не наступать на грабли, которые связаны с парсингом текста.

Многопоточность не нужна, но важна стабильность работы. Т.е. надо хендлить корректно все возможные errors.

Запуск скриптов предполагается через cron или вручную.

Важно! Скрипт должен уметь работать через прокси (чтобы не было проблем с реальным IP). Делать паузы между запросами.

Технологии: PHP 4.4, MySQL 4.1.

Тематика целевых сайтов - аренда недвижимости.

Сайтов два.

Срок - до конца февраля.

PHPMySQLHTML
16 лет назад
alexxxey
48 летРоссия
16 лет в сервисе
Был
16 лет назад
Выбранный исполнитель
joomba
NaN лет
18 лет в сервисе
Был
15 лет назад
11 отзывов(-4)
16 лет назад
$150
2 дня
  • Похожие заказы

  • Требуется сделать игру для сайта - тетрис

    $250

    Если вкратце, то требуется сделать игру - тетрис. Это может быть флэш либо яваскрипт. Фигуры - как обычно состоят из 4 кубиков. Отличие от обычных скриптов тетриса, выложенных в инете в ...

    Javascript
    Веб-программирование1 исполнитель
    Закрыт
    16 лет назад

  • Создание крупного портала

    $2000

    Для работы над крупным Интернет- проектом посвященным системам развития человека требуется web-программист. Нужен человек со знанием языков программирования, например, PHP5 (на высоком уровне). Знание SQL, и в частности умение работать с MySQL (на высоком ...

    PHPMySQLHTMLCSSSQL
    Веб-программирование22 заявки
    Закрыт
    16 лет назад

  • Доработать скрипт

    $10

    Необходимо доработать скрипт раздела рекомендуемые. Перейдите на страницу www.amtell.ru, с права под панелью навигации разположен блок показа одного из рекомендуемых товаров. Но при переходе на страницу с описание товара возникает ошибка, например http://www.amtell.ru/info.php?idd=403260 Все кто согласен сделать ...

    Веб-программирование1 исполнитель
    Завершен
    16 лет назад

  • Плагин под движок wordpress (php)

    $50

    Даннный плагин на главной (в архиве, в рез. поиска) выдает не полный post, а только его часть. Часть можно генерировать по разному. 1. Исключения (опционально) - для “sticky post” (сообщение, которое находится всегда сверху, приклеено) - ...

    PHPWordPressHTML
    Веб-программирование2 заявки
    Закрыт
    16 лет назад

  • Модуль для NetCat - Калькулятор

    Требуется создать Модуль для NetCat - Калькулятор с админкой Задача: На странице пользователь видит услуги: Услуга1: 1.2.3.4.5. - варианты в виде чекбоксов Услуга2: 1.2.3.4.5. . . Услуга N: 1.2.3.4.5. Т.е у каждого поля есть свое ценовое зачение которое пользователь не должен видеть Затем нажимает ...

    NetCat
    Веб-программирование2 заявки
    Закрыт
    16 лет назад

  • Элементарный FLASH-банер

    $15

    Нужен Флеш банер Размером 310 Х 203. Чтоб там пробегали картинки с сылками по кругу. Картинки можно посмотреть в приложении, пример оформления тоже там. Название ссылок и адреса тоже в приложении. Все должно быть на ...

    Flash
    Веб-программирование1 исполнитель
    Закрыт
    16 лет назад

  • Простенький каталог

    $30

    каталог категории, подкатегории форма добавления в каталог описание короткое полное администрирование добавленных сайтов сохранения скриншетов сайта категории в виде облака тегов 3 вила главной страницы (20 новых, названия, скриншеты)

    Веб-программирование1 исполнитель
    Закрыт
    16 лет назад