Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Требуется специалист с опытом сканирования информации с разных сайтов. Это долгий проект.  

Текущая система написана на Go и нужно ее улучшать и добавлять новые функции.  

Также в сканировании используются прокси, распознавание каптчи, сбор статистики, анализ данных и тп.  

Всего сайтов будет 10-15 и сканировать надо по 250,000 страниц в час с каждого сайта. Например – alibaba.com, ebay.com  

В предложениях пожалуйста напиши какие основные проблемы вы видите в реализации такого проекта  

Не надо писать про сильный сервер и тп. для такой скорости их может быть и 50

7 лет назад
simplewhite
39 летСША
17 лет в сервисе
Был
5 лет назад