Сканирование сайтов на Go
Сергей18 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
05.01.2017
Требуется специалист с опытом сканирования информации с разных сайтов. Это долгий проект.
Текущая система написана на Go и нужно ее улучшать и добавлять новые функции.
Также в сканировании используются прокси, распознавание каптчи, сбор статистики, анализ данных и тп.
Всего сайтов будет 10-15 и сканировать надо по 250,000 страниц в час с каждого сайта. Например – alibaba.com, ebay.com
В предложениях пожалуйста напиши какие основные проблемы вы видите в реализации такого проекта
Не надо писать про сильный сервер и тп. для такой скорости их может быть и 50