Утилита для сортировки ссылок
Николай18 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
03.02.2012
Нужна утилита (десктоп) для сортировки страниц по количеству исходящих ссылок.
Все предельно просто. В настройках имеем количество ссылок которое служит фильтром.
Варианты:
а) Считать количество доменов
б) Считать количество исходящих ссылок в общем
(нужное отмечается чекбоксом)
Например:
Имеем файл base.txt. В настройках, в поле "количество ссылок" указываем (например) 3, значит страница на которой будет более 3 ссылок отправляется в файл filtered.txt, а страницы на которых менее указанного количества в checked.txt
Требования:
Многопоточность 300-500 потоков.
Возможность обрабатывать текстовые файлы в 1-2 миллиона строк.