Парсер по ссылкам на разные сайты

$50
Веб-программированиеЗавершен6 заявок193 просмотра
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Написать скрипт который будет переходить по ссылкам из списка, копировать ключевое слово, и добавлять в наш sql.

Цель скрипта:

1. Переход по ссылкам из списка.

Ссылки постоянно обновляются в списке, ссылок более чем 40 000, сайтов примерно 1000, сайты разные!

2. Скрипт ищет на странице ключевое слово «Состояние», копирует ответное значение данного поля…

4. Сохраняет ответ поля в нашу базе, и запоминает из какой ссылки был получен данный ответ.

5. Лог действий скрипта.

Так как сайтов не мало, и у каждого своя структура, то лог нужен для мониторинга работы скрипта…

Функциональная логика:

1. Подключение к базе

2. Выборка данных в массив

3. Проход каждой ссылки CURL-ом через прокси

4. Поиск в результате ответа нужного участка кода с помощью регулярных выражений

5. Обработка найденного на предмет нужного ответа

6. Занесение ответа в базу по id строки в базе

7. Ведение пошагового txt лога

SQL
9 лет назад
zacker2
Андрей 
36 летРумыния
14 лет в сервисе
Был
5 дней назад
Выбранный исполнитель
andronick83
38 летУкраина
11 лет в сервисе
Был
8 лет назад
9 лет назад
$50
1 день
Отличная работа, все сделано так как нужно, буду дальше сотрудничать, и всем рекомендую...
Хороший заказчик, интересные задания, полная своевременная оплата. Сотрудничеством доволен.