Написать парсер форумов
Нужно примерно такой парсер.
http://www.youtube.com/watch?v=2B20lEEDeHc
Основное назначение:
сбор форумных линков
Для начала работы нужно "скормить" парсеру небольшой список ссылок живых заспамленных форумов типа этого (http://www.verpestet.de/forum/viewforum.php?f=5)
и парсер начнет парсить топики, находить ссылки на другие,перелинкованные и т.д., собирая на полном автомате базу форумов.
На выходе получаем:
- базу, разбитую на три файла:
LinksList.txt - со всеми ссылками
LinksList profiles.txt - ссылки только на профили
LinksList topic.txt - ссылки тоько на топики
1.Возможность добавлять свои признаки форумов,профилей и топиков
2. Поддержка прокси
3. Удаление дублей на автомате
4. Многопоточность
5.Высокая скорость сбора.
6.Стабильность в работе и оптимизация.
7.Гибкая настройка парсера из файла.
Желательно написание парсера на PERL