Сканирование сайтов на Go
Сергей17 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
24.04.2017
Требуется специалист с опытом сканирования информации с разных сайтов. Это долгий проект.
Текущая система написана на Go и нужно ее улучшать и добавлять новые функции.
Также в сканировании используются прокси, распознавание каптчи, сбор статистики, анализ данных и тп.
Всего сайтов будет 10-15 и сканировать надо по 250,000 страниц в час с каждого сайта. Например – alibaba.com, ebay.com
В предложениях пожалуйста напиши какие основные проблемы вы видите в реализации такого проекта
Не надо писать про сильный сервер и тп. для такой скорости их может быть и 50