Разработка сервиса для парсинга и проверки прокси

  1. Биржа фриланса
  2. Веб-программирование
Закрыт2 заявки570 просмотров

Требуется написать скрипт-систему, которая будет периодически парсить прокси из указанных источников и проверять их на валидность, сортировать по типам и странам. Примерно как best-proxies.ru или good-proxies.ru

Клиентская часть:

  • Личный кабинет с доступом по ключу (ключ я буду выдавать через свою систему, билинг на сервисе не нужен), в личном кабинете можно выбрать какие нужны прокси по разным параметрам, получить апи-ссылку или загрузить список текстом (пример - good-proxies.ru, там можно посмотреть интерфейс без покупки ключа)
  • Апи (пример - best-proxies.ru/api, но попроще, по сути параметры будут только тип прокси, их количество, страна, таймаут и ключ клиента)
  • Возможность продлить старый ключ с помощью нового ключа
  • Статистика на главной странице сервиса, в личном кабинете
Админка:

  • Возможность указать список источников, по которым идет парсинг прокси
  • Возможность указать 2 сайта, по которым будет проверяться валидность прокси (или 2 ip сайтов)
  • Возможность перезапустить процесс парсинга и проверки вручную
  • Возможность указать интервал в минутах, как часто должен запускаться процесс парсинга и проверки
  • Генерация ключей для пользователей (нужна возможность генерировать определенное количество ключей у которых будет определенный срок)
  • Контроль ключей (возможность забанить ключ, посмотреть с какого IP обращались к ключу, добавить дни конкретному ключу или всем активным пользователям)
  • Статистика, когда была последняя проверка прокси, сколько активных пользователей и тд
Серверная часть:

  • Парсинг по регулярке и проверка прокси по заданным в админке параметрам, проверка на 2 разных сайта
  • Периодическая проверка прокси которые уже есть на сервисе, удаление если стали невалидными
Дизайн главной страницы и личного кабинета уже есть (готовая верстка, нужно только натянуть функционал), админку можно сделать на bootstrap или каком-то другом решении. Важно, чтобы после окончания разработки я смог самостоятельно перенести скрипт на другой сервер или отредактировать какие-то шаблоны через FTP (то есть без привязок к gitlab и тд если это возможно). В идеале, чтобы у меня была инструкция по установке скрипта на vestacp рядом с другими сайтами (не знаю насколько это реально, если что обсудим лично)

Также у меня есть старая база ключей, скорее всего нужно будет импортировать её, чтобы старые клиенты смогли пользоваться новым сервисом по своим старым ключам.

Bootstrap
4 года назад
guest_16092650001215
4 года в сервисе
Был
4 года назад

Заявки фрилансеров

Дмитрий
 
31 год
10 лет в сервисе
Был
5 месяцев назад
20 отзывов
4 года назад
Андрей
 
30 лет
12 лет в сервисе
Был
7 часов назад
61 отзыв
4 года назад