Парсер страниц
Николай13 років у сервісі
Дані замовника будуть вам доступні після подання заявки
08.06.2020
Нужно написать простенький софт.
У меня есть база с адресами страниц сайтов (в ней примерно 150 тыс. страниц разных сайтов). Мне нужно отобрать из этих 150 тыс. страниц те страницы, в коде которых встречается нужный мне текст.
Все страницы разных сайтов, поэтому поддержка прокси и разных юзерагентов не нужна. Но юзерагент должен быть всё-равно реального браузера + нужна многопоточность, чтобы эти 150 тыс. страниц не неделю обрабатывались.