Нужно написать скрипт фильтрация линков

Скрипт должен уметь:

Удалять дубликаты

Удалять дубликаты по домену

Удалять часть урла с начиная с символа(ов)

Удалять записи с кодами ответа 404,401,304,206 и другие

Фильтр урла - фильтровать линки по тексту в урле.

Проверять наличие на странице текста (тэгов)

Дописать что либо в начало линка (например link:)

Удалить что либо в начале линка (например www.)

Просьба оставлять номер ICQ для связи.