Набор парсеров

Комплексный граббер информации с нескольких сайтов. Получение входных данных и отдача ответа должны происходить посредством SOAP протокола, т.е. необходимо реализовать веб-сервис.

Для каждого сайта должен быть отдельный веб-сервис.

Язык программирования – PHP.

ТЗ:

Парсер данных по автомобилям и людям - Wiki - # 1

ОБЩЕЕ ОПИСАНИЕ

Система предназначена для автоматизации проверки автомобилей и людей по различным онлайн базам. Выполнена с применением модульного подхода (каждый "источник данных" - отдельный модуль).

ОПИСАНИЕ ПЛАТФОРМЫ

Платформа реализует.

- Управление и мониторинг работы модулей.

- Систему оповещения о сбоях (Е-мейл)

- Логирование операций

- Очередь заданий

- Управление потоками

- Хранение и распределение прокси

МОДУЛИ ИНТЕГРАЦИИ

SOAP-API

- Запрос на проверку

- Получение результатов

Antigate

- Запрос на разгадывание капчи

- Получение результата распознования

- Обработка ошибок

- Нет денег

- Нет слотов

- Другие ошибки

МОДУЛИ ПАРСИНГА

1. Федеральная Нотариальная Палата (www.reestr-zalogov.ru)

Адрес страницы сервиса - https://www.reestr-zalogov.ru/#/ (закладка «информация о предмете залога» / «Транспортное средство»)

Данные обязательные для подачи запроса:

• VIN* - текстовое поле, 17 знаков.

* - данные обязательные к передаче.

Данные на выходе (таблица с указанными столбцами):

• н/п

• Дата рег

• Рег номер

• Имущество

• Залогодатель

• Залогодержатель

2. Госавтоинспекция ГИБДД России (http://www.gibdd.ru/check/auto/)

Данные на входе:

Адрес страницы сервиса - http://www.gibdd.ru/check/auto/

Данные обязательные для подачи запроса:

• VIN* - текстовое поле, 17 знаков.

* - данные обязательные к передаче.

Данные на выходе:

• Информации о розыске транспортного средства в федеральной информационной системе МВД России;

• Информации о наложении ограничений на регистрационные действия с транспортным средством в федеральной информационной системе МВД России.

3. Проект VIN.AUTO.RU (http://vin.auto.ru/)

Данные на входе:

Адрес страницы сервиса - http://vin.auto.ru/

Данные обязательные для подачи запроса:

• VIN* - текстовое поле, 17 знаков.

* - данные обязательные к передаче.

Данные на выходе:

• Информация о залоговых обязательствах в банках-партнерах

4. Автокод (https://avtokod.mos.ru/)

Данные на входе:

Адрес страницы сервиса - https://avtokod.mos.ru/

Данные обязательные для подачи запроса:

• VIN* - текстовое поле, 17 знаков.

• Свидетельство ТС* - текстовое поле.

* - данные обязательные к передаче.

Данные на выходе:

• Количество владельцев

• Факты ДТП

• Действующие ограничения

• Коммерческое использование

• Страховые случаи

5. VINformer.SU (http://vinformer.su/ru/)

Данные на входе:

Адрес страницы сервиса - http://vinformer.su/ru/ident/vin/steal.php

Данные обязательные для подачи запроса:

• VIN* - текстовое поле, 17 знаков.

* - данные обязательные к передаче.

Данные на выходе:

• Информация о наличии в базах угнанных автомобилей.

6. Федеральная Служба Судебных Приставов (ФССП)

Данные на входе:

Адрес страницы сервиса - http://fssprus.ru/iss/ip/

Данные обязательные для подачи запроса:

• Территориальные органы* - предопределенный список значений.

• Фамилия* - текстовое поле, максимальная длина 500 символов.

• Имя* - текстовое поле, максимальная длина 500 символов.

• Отчество - текстовое поле, максимальная длина 500 символов.

• Дата рождения – поле формата даты вида ДД.ММ.ГГГГ

* - данные обязательные к передаче.

Данные на выходе (таблица с указанными столбцами):

• Должник

• Исполнительное производство

• Реквизиты исполнительного документа

• Дата, причина (статья, пункт, подпункт основания) завершения ИП

• Предмет исполнения: остаток задолженности

• Отдел судебных приставов

• Судебный пристав-исполнитель

7. 3.5. Федеральная Миграционная Служба (ФМС)

Данные на входе:

Адрес страницы сервиса - http://services.fms.gov.ru/info-service.htm?sid=2000

Данные обязательные для подачи запроса:

• Серия паспорта* - текстовое поле, максимальная длина 4 символа.

• Номер паспорта* - текстовое поле, максимальная длина 6 символов.

* - данные обязательные к передаче.

Данные на выходе:

• Наличие или отсутствие паспорта среди недействительных (утраченных (похищенных), оформленных на утраченных (похищенных) бланках паспорта гражданина Российской Федерации, выданных в нарушение установленного порядка, а также признанных недействительными) паспортов граждан Российской Федерации.