Простой чекер под вин.
Програмка под вин.
Ее назначение - собирать из заданных в исходном файле (задается в конфиге) директорий
файлы (задаем название файла в конфиге), склеивать их в 1. В файлах находятся урлы веб страничек.
по 1 на строчку.
Далее - задем в конфиге файлы и маску из которых надо получить список ключевых слов.
Далее необходимо прочекать список урлов, загружая из них странички и проверяя на наличие в
их составе хотя бы одного ключевого слова. Если хотя бы одно ключевое слово содержится, то
данный урл пишем в выходной файл.
Списки урлов могут быть большими - по несколько десятков тысяч, а ключевые слова - немного -
порядка десяти штук. Маска извлечения ключевых слов 1 на все файлы и представляет собой
вид - hfuerejkj?khjlksjdfsdl9w - то что вместо вопроса и будет искомым ключевым словом - в
каждом файле соотвественно свое.
Программа должна уметь запускаться в авторежиме - т.е. запустили - она начала работать, с
отложенным стартом в 15 секунд. В конфиге задаем интервал работы программы - через какое
время ей необходимо делать повторные собирания и речек урлов. Повторные проверки начинать с
предыдущего выходного файла. В случае, если дата файла отличается на кол-во дней заданное в
конфиге - например на 2 дня, то проверку урлов из данного файла уже не делаем, а просто их
отбрасываем. Файл всегда перезаписываем. Файл может разделен - т.е. если в файле, в котором
содержится список выходных дир зададим 5 путей с именами, то соответсвенно на выходе будет
5 файлов...
Минимальный лог - дата, время, событие.
--------------------------------------------
описание простым языком задачи - регулярно собирать файлы с урлами из дир, получать по маске
список ключевых слов, копировать в выходной файл или файлы только те урлы, которые содержат
в коде хтмл страницы по запросу хотя бы одно из ключевых слов.
--------------------------------------------
сроки - програмка простая - сели, сделали, расчитались - лучше в течение пары часов после договора.