Цель: разработать API с помощью которых можно автоматически выбирать и использовать прокси сервер основываясь на географическом расположении.
Описание задачи:
API будет использовать сторонний сервер для нахождения нужного прокси сервера.
Сервис называется ProxyRental.
Пример использования этого сервера я прикрепил.
API будет иметь один интерфейс geo_request
Входные данные:
country
state
city
url (HTTP или HTTPS URL который должен быть обработан)
request_method (GET, PUT, POST, и т.д.)
headers (массив HTTP хедеров)
body (данные для HTTP body [опционально])
Выдача:
geo_ip (IP прокси сервера что будет использоваться)
geo_country (страна в которой этот прокси находится)
geo_city (город в котором этот прокси находится)
status (HTTP код)
body (response body URL’а загруженный через прокси)
Для выбранного кандидата я предоставлю доступ к аккаунту ProxyRental
Предпочтительно построить API на node.js, но PHP версия тоже подойдет
Дополнительное требование:
ProxyRental позволяет только один одновременный запрос.
Они возвращают ошибку если делать несколько запросов одновременно.
Чтобы этого избежать есть 2 варианта:
Использовать решение вроде Firebase или Azure Storage Queue для обработки всех запросов к API. Своего рода создание очереди
Добавить еще один интерфейс к API, который не будет принимать URL для загрузки а только находить подходящий прокси сервер и возвращать данные сессии для использования. Эту сессию клиент может использовать для загрузки URL через прокси без использования ProxyRental. По окончании работы клиент может закрыть сессию
С ответом присылайте пожалуйста:
1. На чем сможете реализовать node.js или PHP
2. Какой из 2х вариантов обхода лимита на 1 запрос вы будете использовать: Firebase/Azure Storage Queue или дополнительные интерфейсы и сессии
3. Примерные стоимость и сроки
4. Работаю только через БС - подтвердите что это вас устраивает.
Спасибо!
Добрый день Надо спарсить все позиции товара с сайта: [url=http://nebo.ru/diamonds]http://nebo.ru/diamonds[/url] + сделать 1в1 такой же калькулятор по этому товару И добавить в бд движка Presta shop Бюджет 100 $ - обязательно с фильтром (калькулятором) пс: пж-ста не предлагайте только спарсить товар
Нужна возможность создавать временные ссылки на файлы. Менеджер по запросу от клиента создает ссылку на файл и по этой ссылке файл можно скачать в течение нескольких часов. По истечению этого времени файл должен быть недоступен.
Сейчас стоит задача создать отдельный файл для яндекс вебмастера для корректного отображения сниппетов. Файл Маркета сейчас используется только для 160-200 товаров из более 2000, поэтому возникла необходимость создать новый функционал в админке arwshop.ru. Принцип работы ...
Выгрузка заказов из 1С-Битрикс происходит каждый раз с ID номер 1 и по последний принятый. Накопилось уже много заказов и это стала проблемой. Знаю что можно грузить только те, которые не были выгружены в 1С, но ...
В djclassifieds загнали категории, перевели их в FaLang после этого сайт долго загружается. Задача оптимизировать FaLang, чтоб сайт загружался побыстрей.
Здравствуйте! Необходимо спарсить информацию из каждой товарной [url=http://ru.bodybuilding.com/store/bsn/synth.html]карточки[/url]. Урл должен содержать http://ru.bodybuilding.com/store/. Результат необходимо выдать в виде таблицы excel, где в столбцах будет [url=http://screenshot.ru/1ae3ded68656c9f0b327d5fc4d928bc9]указаны[/url]: [list=1][*]Виды категорий товара (их будет несколько, на примере из скриншота их 2)[*]Виды категорий ...
Требуется миграция сайта с самописа на шаблон WordPress (написать парсер и перенести). Может у вас будут другие предложения. Подробности в скайпе или в личке.
Требуется обновить дизайн сайта (сайт на Wordpress). Дизайн уже есть и сверстан. Требуется натяжка новой верстки.
