Сканирование сайтов на Golang
Сергей17 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
06.08.2016
Требуется специалист с опытом сканирования информации с разных сайтов. На постоянную занятость в нашей команде.
Текущая система написана на Golang и нужно ее улучшать и добавлять новые функции.
Также в сканировании используются прокси, распознавание каптчи, сбор статистики, анализ данных и тп.
Всего сайтов будет 10-15 и сканировать надо по 250,000 страниц в час с каждого сайта. Например - alibaba.com, ebay.com
В предложениях пожалуйста напиши какие основные проблемы вы видите в реализации такого проекта
Не надо писать про сильный сервер и тп. для такой скорости их может быть и 50