Парсер для xenforo 2.2.x
Парсер для сайта на форумном движке xenforo 2.2.x
1.Парсер должен уметь авторизовываться на сайтах донорах, под учетной записью которую я пропишу, для того чтоб мог копировать текст из спойлера который доступен только авторизованным юзерам.
2.Парсер должен парсит только те сайты которые я пропишу.
3.Парсер парсит темы только за тот период за который я пропишу, допусти темы появившиеся только за последний час/день/месяц/год/5 лет/10 лет.
Логика работы парсера: Очевидно наполняя форум полученным контентом, он будет взят с других форумов, значит структура контента будет следующей: разделы, форумы, топики, сообщения, а также профили пользователей, которые могут содержать различную информацию, например: логин, аватар, дату регистрации, количество сообщений, описание. При этом логика работы парсера будет следующей:
- Первичная настройка парсера на сайт донора, с указанием где и какие данные ему собирать, обучить «пониманию» структуры HTML страниц донора (задача не сложная, например прописать путь в xPath до заголовка страницы H1);
- Обход главной страницы форума, сбор ссылок на разделы и их названия;
- Обход разделов, сбор в них ссылок на форумы и их названия;
- Обход форумов, сбор в них ссылок на топики и их названия;
- Обход топиков, сбор в них всех сообщений и ссылок на их авторов(на профили пользователей включая аватар);
- Обход профилей пользователей и сбор всех доступных данных по ним включая аватар;
- Отдельно происходит сбор ссылок на постраничную навигацию, для последующего сбора информации на других страницах списков форумов и топиков.
Заявки фрилансеров
