Разработать Node.js back-end приложение которое переобходит весь сайт

Привет!

Необходио разработать скрипт который запускается на сервере и живёт в фоне вечно.

Задачи скрипта:

1. найти все страницы сайта;

2. постоянно проверять код найденных страниц по определённым параметрам;

3. находить новые страницы;

Технологии: Node.js + MySQL + Redis