Скрипт проверки ссылок

Требуется написать скрипт проверки ссылок.

Описание работы скрипта:

Задается URL сайта. Скрипт проходит по всем ссылкам на внешние ресурсы и составляет отчет о битых ссылках, то есть сайтов которые возвратят ошибку 404. По окончании работы скрипт должен выводит отчет в *.txt файл.

Скрипт не должен обращать внимание на запрет индексации сайта в ROBOTS.TXT

Нужна возможность добавления адресов ссылок, которые скрипт НЕ должен проверять.

Нужна возможность настройки таймаута ответа от сервера, по истечении которого ссылка будет считатся битой.

В скрипт нужно встроить возможность работы через http прокси сервер (если не сильно скажется на цене)