Сканирование сайтов на Go

Сергей17 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
24.04.2017

Требуется специалист с опытом сканирования информации с разных сайтов. Это долгий проект.  

Текущая система написана на Go и нужно ее улучшать и добавлять новые функции.  

Также в сканировании используются прокси, распознавание каптчи, сбор статистики, анализ данных и тп.  

Всего сайтов будет 10-15 и сканировать надо по 250,000 страниц в час с каждого сайта. Например – alibaba.com, ebay.com  

В предложениях пожалуйста напиши какие основные проблемы вы видите в реализации такого проекта  

Не надо писать про сильный сервер и тп. для такой скорости их может быть и 50