Разработать парсер ссылок сайта crawler
Голубев11 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
12.08.2016
Задача: Необходимо разработать crawler сайта.
Используемые технологии: PHP, MySQL. Возможно использование библиотеки http://phpcrawl.cuab.de/ или аналогичной библиотеки(по согласованию) чтобы не писать свой «велосипед» и минимизировать время на разработку в целом.
Описание:
Основной задачей краулера сайта является поиск всех страниц сайта и сохранение найденых URL в БД.
Краулер запускается через Cron по определенному расписанию. Список сайтов на обработку храниться в таблице CrawlerTasks в БД MySQL.
Входные данные: URL главной страницы сайта.
Необходима оценка по стоимости и срокам.