Многопоточный парсер Overture
Требуется серверный парсер на PHP для работы с большими объемами ключевых слов (>10000), с реализацией многопоточности, с возможностью указывать время в секундах между обработкой каждого ключевого слова.
Возможность указывать уровень погружения (парсинга) по ключевому слову.
Фильтр результатов по:
- кол-ву символов (например не менее 5 не более 50)
- по наличию в результате определенного текста (например не учитывать фразы, где есть ".html")
- по кол-ву цифр в результате (например если более 5 цифр, то всю ключ. фразу не учитывать)
Удаление дубликатов в конечном результате.
Поддержка работы через proxy. Все результаты должны сохраняться в 1 текстовом файле.
Возможность разделять файл с результатами на текстовые файлы с определенным количеством ключевых слов.