Парсер ссылок

Нужна программа для перехода по ссылкам и поиска новых ссылок. Нужен блэк-лист с пройденными линками, правилами и исключениями. К примеру:

http://site.ru/korm/{.} - ищем в папке korm только ссылки с точкой

http://site.ru/porn/[.htm] - игнорируем в папке porn все, что содержит .htm

+ замена параметров в блэк листе восклицательными знаками, чтобы не ходить по однотипным ссылкам

httр://site.com/music/index.php?term=!&in=!&action=!&start=!

+ правило для внешних доменов

нужна только база уникальных ссылок. На них я буду искать формы. Подробное ТЗ дам при желании