Создание робота-бота для мониторинга сайтов компаний

Требуется создание робота для мониторинга сайтов компаний, адреса которых находятся в нашей базе данных, с целью считывания актуальной информации по появляющимся трудовым вакансиям, которые данные компании публикуют на своих сайтах. В нашей базе данных находится адреса url 20000 компаний, которые публикуют открытые вакансии на своих сайтах. С этих сайтов необходимо постоянно снимать свежую информацию, как только компания опубликовала вакансию.