Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Задача: Необходимо разработать crawler сайта.

Используемые технологии: PHP, MySQL. Возможно использование библиотеки http://phpcrawl.cuab.de/ или аналогичной библиотеки(по согласованию) чтобы не писать свой «велосипед» и минимизировать время на разработку в целом.

Описание:

Основной задачей краулера сайта является поиск всех страниц сайта и сохранение найденых URL в БД.

Краулер запускается через Cron по определенному расписанию. Список сайтов на обработку храниться в таблице CrawlerTasks в БД MySQL.

Входные данные: URL главной страницы сайта.

Необходима оценка по стоимости и срокам.

8 лет назад
vgm
35 летРоссия
10 лет в сервисе
Был
7 лет назад