Пингование URL на предмет 404 ошибки

Необходимо написать программу, которая бы изначально загрузила все URL с определенного сайта, затем отслеживала новые URL и ежедневно пинговала весь реестр URL на предмет их существования, то есть при 404 ошибке сигнализировала.

Жду ваших предложений. Также прошу указывать, какая инфраструктура необходима для функционирования данной программы, подойдет ли простой хостинг или необходимо будет VPS, либо отдельный мощный хостинг.

Ориентировочное количество URL первого сайта составляет 50 000 и в дальнейшем количество сайтов будет увеличиваться. Соответственно программа должна быть довольно продуктивной.