Сканер директорий сайтов и сохранение по критериям

Нужен софт который подставляет директории к сайтам из файла, ищет совпадение текста в этих директориях и сохраняет в файл домены вида: сайт/директория_в_которой_найдено_совпадение

Теперь самое важное: Софт должен быть многопоточный и высокопроизводительный, нужно как можно меньшее потребление ресурсов cpu, ram

Производительность должна быть от 10 000 - 20 000 сайтов в минуту (чем выше тем лучше)

Писать без разницы на чем.

подробнейшее ТЗ вышлю.