Фильтрация базы сайтов

Для владельцев программы Semonitor есть задача :

необходимо взять имеющуюся у меня базу сайтов (примерно 200000), и отфильтровать эту базу по определенным параметрам, в частности: по ответу сервера 200, по Page Availibility=OK,отсутствию запрета индексации сайта в Robots.txt, а также по отсутствию NoIndex и NoFollow на опр. страницах сайтов. С предложениями обращатьcя по ICQ 243725243.