Парсер для xenforo 2.2.x

Марат3 года в сервисе
Данные заказчика будут вам доступны после подачи заявки
11.06.2022

Парсер для сайта на форумном движке xenforo 2.2.x

1.Парсер должен уметь авторизовываться на сайтах донорах, под учетной записью которую я пропишу, для того чтоб мог копировать текст из спойлера который доступен только авторизованным юзерам.

2.Парсер должен парсит только те сайты которые я пропишу.

3.Парсер парсит темы только за тот период за который я пропишу, допусти темы появившиеся только за последний час/день/месяц/год/5 лет/10 лет.

Логика работы парсера: Очевидно наполняя форум полученным контентом, он будет взят с других форумов, значит структура контента будет следующей: разделы, форумы, топики, сообщения, а также профили пользователей, которые могут содержать различную информацию, например: логин, аватар, дату регистрации, количество сообщений, описание. При этом логика работы парсера будет следующей:

  • Первичная настройка парсера на сайт донора, с указанием где и какие данные ему собирать, обучить «пониманию» структуры HTML страниц донора (задача не сложная, например прописать путь в xPath до заголовка страницы H1);
  • Обход главной страницы форума, сбор ссылок на разделы и их названия;
  • Обход разделов, сбор в них ссылок на форумы и их названия;
  • Обход форумов, сбор в них ссылок на топики и их названия;
  • Обход топиков, сбор в них всех сообщений и ссылок на их авторов(на профили пользователей включая аватар);
  • Обход профилей пользователей и сбор всех доступных данных по ним включая аватар;
  • Отдельно происходит сбор ссылок на постраничную навигацию, для последующего сбора информации на других страницах списков форумов и топиков.

Заявки фрилансеров