Парсер url со всего сайта (php, MySQl or Ruby)

Веб-программированиеЗакрыт5 заявок150 просмотров
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Возможно написание на php или Ruby

1. по указанному url-у обойти весь сайт и собрать все ссылки

2. сгенерировать отчет: количество обойденных страниц, количество уникальных ссылок

3. записать все адреса в БД

Условия:

1. бот не должен выходить за рамки указанного домена

2. код должен быть с комментариями (можно на русском)

3. собирать все ссылки, как относительные так и абсолютные (href=”http://test1.ru/111” и href=”111” и др варианты)

4. не учитывать якорные ссылки

5. не учитывать ссылки вида href="javascript:

6. в БД писать только уникальные ссылки без домена

7. многопоточность

8. не заходить на страницы и/или не записывать в БД, которые запрещены в robots.txt (если включена функция в настройках)

9. во время выполнения скрипта отображать процесс в брайзере

10. использовать сторонних библиотеки и фреймворков запрещено

11. игнорировать содержимое

Настройки

• Количество потоков

• не заходить на страницы запрещенные в robots.txt

• не записывать в БД страницы запрещенные в robots.txt

• лимит на количество найденных страниц

• лимит на количество найденных url

• игнорировать ссылки на файлы с расширение (список задается)

• игнорировать содержимое (да, нет)

• игнорировать ссылки с параметром "nofollow" (да, нет)

• игнорировать страницы с (да, нет)

• игнорировать страницы с (да, нет)

БД

CREATE TABLE IF NOT EXISTS `donor` (

`donor_id` int(11) NOT NULL AUTO_INCREMENT,

`donor_url` varchar(120) NOT NULL,

`donor_date` date NOT NULL,

PRIMARY KEY (`donor_id`),

UNIQUE KEY `donor_url` (`donor_url`)

) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

ОТ ВАС ЖДУ

Цена и сроки.

PHPJavascriptMySQLRuby
10 лет назад
alex_adamovitch
Алексей 
38 летБеларусь
11 лет в сервисе
Был
9 лет назад
  • Похожие заказы

  • Веб-программист php на постоянку - удаленка

    $2500

    Нуждаемся в программисте / команде / компании для доработки новой версии туристического сайта (продажа туров и экскурсий): * допиливание, развитие и поддержка API для мобильных и сторонних приложений * разработка на основе API мобильной версии сайта * анализ, ...

    PHPMySQLHTMLNginxBashGit
    Веб-программирование1 заявка
    Закрыт
    10 лет назад

  • Разработать АПИ для интернет магазина

    $250

    Разработать АПИ для интернет магазина задача: есть интернет магазин (А), сделали еще один (B), нужно разработать (на PHP) API для передачи информации о товарах и сопутствующих аксессуаров из интернет магазина А в В, чтобы каталог в ...

    PHP
    Веб-программирование5 заявок
    Закрыт
    10 лет назад

  • Система копирования RSS на сайт

    Это нужно интегрировать в существующий сайт на SMARTY CMS RSS ленту со сторонних сайтов (открытый php код). На сайте уже есть зарегистрированные пользователи, которые и хотели бы получать информационную рассылку согласно выбранным ими тематикам. Необходимо также ...

    PHPСайт на PHP
    Веб-программирование5 заявок
    Закрыт
    10 лет назад

  • Форма ламинации профиля ПВХ

    Требуется создать форму заказа по готовому примеру, но без исходных кодов. Когда выбираешь значение активируется второй список, относительно значения в первом. Ссылку на форму вышлю в ЛС,

    Веб-программирование4 заявки
    Закрыт
    10 лет назад

  • Разработка системы управления проектами в компании

    $250

    Система предназначена для организации проектов в Компании, управление финансовой деятельностью между её участниками и клиентами, система автоматизировано распределяет проценты между исполнительными лицами, ответственными за определенный проект. Система делиться на 3 трех типов участников: Управляющий Администратор (полные ...

    Веб-программирование5 заявок
    Закрыт
    10 лет назад

  • Drupal7. Ubercart. Доработки

    $76

    Есть сайт зорак.рф на друпал7. Надо: 1. установить автоматическое уменьшение цены на товар с увеличением объема закупок (от суммы). Допустим купили от 10000 руб. значит скидка 10%. 2. Перевод покупателя на постоянные оптовые цены (добавление в определенную ...

    Drupal
    Веб-программированиенет заявок
    Закрыт
    10 лет назад

  • Информер для кино сайта

    Нужен красивый информер популярных или последних новостей под темный дизайн сайта на движке ucoz. Должно выводиться изображение новости, Название и описание Описание буду добавлять через дополнительное поле. Информер буду ставить на сайт klipzona.net в самый низ страницы. Сейчас ...

    Дизайн сайта
    Веб-программирование1 заявка
    Закрыт
    10 лет назад

  • Ошибка сайта при переносе на другой хост

    Здравствуйте !В приложении принт скрин ! Базу сайта оставили прежнию,заменили только файлы сайта (кроме файлов конфиги папки files) Сайт на simpla cms. Не все картинки отображаются на сайте,хотя раньше отображались Все,бекап когда отображались Все,имеется. Приоритет цене,жду Ваших предложений ...

    Simpla
    Веб-программирование3 заявки
    Закрыт
    10 лет назад