Скрипт Crawler (паук) без индексации

Нужен рекурсивный паук, который будет пробегать по всем страницам сайта.

Нужен серверный вариант, десктоп не предлагать (уже имеется).

Оптимально многопоточный.

Желательно на perl, но рассмотрю и другие варианты.

Как пример можно посмотреть на:

feofilaktov_ru/page/perl-crawler