Разработка сервиса для парсинга и проверки прокси
Гость4 года в сервисе
Данные заказчика будут вам доступны после подачи заявки
14.04.2021
Требуется написать скрипт-систему, которая будет периодически парсить прокси из указанных источников и проверять их на валидность, сортировать по типам и странам. Примерно как best-proxies.ru или good-proxies.ru
Клиентская часть:
- Личный кабинет с доступом по ключу (ключ я буду выдавать через свою систему, билинг на сервисе не нужен), в личном кабинете можно выбрать какие нужны прокси по разным параметрам, получить апи-ссылку или загрузить список текстом (пример - good-proxies.ru, там можно посмотреть интерфейс без покупки ключа)
- Апи (пример - best-proxies.ru/api, но попроще, по сути параметры будут только тип прокси, их количество, страна, таймаут и ключ клиента)
- Возможность продлить старый ключ с помощью нового ключа
- Статистика на главной странице сервиса, в личном кабинете
- Возможность указать список источников, по которым идет парсинг прокси
- Возможность указать 2 сайта, по которым будет проверяться валидность прокси (или 2 ip сайтов)
- Возможность перезапустить процесс парсинга и проверки вручную
- Возможность указать интервал в минутах, как часто должен запускаться процесс парсинга и проверки
- Генерация ключей для пользователей (нужна возможность генерировать определенное количество ключей у которых будет определенный срок)
- Контроль ключей (возможность забанить ключ, посмотреть с какого IP обращались к ключу, добавить дни конкретному ключу или всем активным пользователям)
- Статистика, когда была последняя проверка прокси, сколько активных пользователей и тд
- Парсинг по регулярке и проверка прокси по заданным в админке параметрам, проверка на 2 разных сайта
- Периодическая проверка прокси которые уже есть на сервисе, удаление если стали невалидными
Также у меня есть старая база ключей, скорее всего нужно будет импортировать её, чтобы старые клиенты смогли пользоваться новым сервисом по своим старым ключам.