Python асинхронные запросы в тысячи потоков
Евгений16 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
09.04.2016
Здравствуйте, Уважаемые!
Требуется написать скрипт, который будет использоваться изначально для проверки whois через прокси разных видов socks 4/5, http. Общее количество проксей ~4500, из них работающих примерно 1500.
Требуется достичь скорости не менее 45 млн доменов в сутки, то есть примерно ~520 доменов в секунду(так думаю, минимум 2000 потоков потребуется).
Необходимо сделать чтобы скрипт был по максимуму универсален. На основе класса, например, т.к. я буду переписывать его под разные цели для проверки всяких мелочей типа page rank или alexa rank.
Можно использовать либу https://github.com/jvansteirteghem/twunnel3 вместе с asyncio