Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Парсер для сайта на форумном движке xenforo 2.2.x

1.Парсер должен уметь авторизовываться на сайтах донорах, под учетной записью которую я пропишу, для того чтоб мог копировать текст из спойлера который доступен только авторизованным юзерам.

2.Парсер должен парсит только те сайты которые я пропишу.

3.Парсер парсит темы только за тот период за который я пропишу, допусти темы появившиеся только за последний час/день/месяц/год/5 лет/10 лет.

Логика работы парсера: Очевидно наполняя форум полученным контентом, он будет взят с других форумов, значит структура контента будет следующей: разделы, форумы, топики, сообщения, а также профили пользователей, которые могут содержать различную информацию, например: логин, аватар, дату регистрации, количество сообщений, описание. При этом логика работы парсера будет следующей:

  • Первичная настройка парсера на сайт донора, с указанием где и какие данные ему собирать, обучить «пониманию» структуры HTML страниц донора (задача не сложная, например прописать путь в xPath до заголовка страницы H1);
  • Обход главной страницы форума, сбор ссылок на разделы и их названия;
  • Обход разделов, сбор в них ссылок на форумы и их названия;
  • Обход форумов, сбор в них ссылок на топики и их названия;
  • Обход топиков, сбор в них всех сообщений и ссылок на их авторов(на профили пользователей включая аватар);
  • Обход профилей пользователей и сбор всех доступных данных по ним включая аватар;
  • Отдельно происходит сбор ссылок на постраничную навигацию, для последующего сбора информации на других страницах списков форумов и топиков.
2 года назад
Mastifik
Марат 
41 годАзербайджан
2 года в сервисе
Был
2 года назад