Разработать парсер ссылок сайта crawler

Голубев11 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
12.08.2016

Задача: Необходимо разработать crawler сайта.

Используемые технологии: PHP, MySQL. Возможно использование библиотеки http://phpcrawl.cuab.de/ или аналогичной библиотеки(по согласованию) чтобы не писать свой «велосипед» и минимизировать время на разработку в целом.

Описание:

Основной задачей краулера сайта является поиск всех страниц сайта и сохранение найденых URL в БД.

Краулер запускается через Cron по определенному расписанию. Список сайтов на обработку храниться в таблице CrawlerTasks в БД MySQL.

Входные данные: URL главной страницы сайта.

Необходима оценка по стоимости и срокам.