Парсер емейлов для форума на базе vBulletin
Есть форум на базе vBulletin. Нужен парсер, которому я бы задавал урлы разделов форума, например: http://www.virtualsportsnetwork.com/forum/forumdisplay.php?893-2-2-0-Madden-Online-Franchise-(PS3), а парсер проходил бы по всем тредам этого форума и собирал с них емейлы.
Обратите внимание, что в форумах есть паджинация как в форумах, так и в тредах. Нужно чтобы парсер проходил форумы и треды полностью.
Парсер может быть выполнен в виде консольного приложения, либо в виде программы для интерпретатора, например на питоне.
Парсер должен поддерживать ряд настроек, в частности:
— урлы форумов
— номер страницы паджинации с которой начинать парсинг для каждого из урлов (на случай, если парсин отвалится, чтобы продолжить с того места, где он закончил в предыдущий раз)
— количество тредов, которые нужно парсить в форуме за сеанс
— мин. и макс. задержка между запросами (для антибана)
— путь к файлу со списком емейлов
— путь к логам
Парсер должен вести лог, в который писать следующую информацию:
— урл форума
— номер страницы паджинации форума
— урлы тредов
— количество емейлов в треде
В предложении прошу указывать язык программирования, стоимость и предположительное время готовности.