Парсер + автодобавление данных на сайт

Парсер + программа по автодобавлению новинок манхв на сайт.

Задача будет состоять из нескольких этапов.

Этап 1Нужен парсер, который будет сканировать сайт в определенное время на наличие появление нового тайтла (Произведения) на сайте.

Нужные произведения находятся в закрытом доступе, и если включено 19+ тогда они видны. Для этого сделаем аккаунт, чтобы можно было всё проверить своими руками.

Есть 3 страницы, где появляются новинки

• Страница поиска - https://toptoon.com/hashtag (Второй по счету сверху)
• Страница новинок - https://toptoon.com/latest
• https://toptoon.com/weekly (Тут подставляется еще якорь на день дня #weekly1 - #weekly7)

Работать парсер должен примерно с 12:00 до 16:30 по МСК. Периодичность сканирования с 12:00 до 14:40 каждые 5 минут.

С 14:45 до 15:10 каждые 1-2 минуты. Если можно быстрее, хорошо, главное бан не отхватить.

С 15:15 до 16:30 каждые 5 минут.

Тригеры.

Если новинка на сайте появилась, нужно сохранить его ссылку и название на корейском языке. Название прогнать через гугл\яндекс переводчик на русский и английский язык.

Сохранить все три названия (неважно, если переведет криво, потом подправим) в массив.

Очередность.

1. Англ название

2. Русс название

3. Кор название

4. Ссылка на новинку

… Далее будет пояснение, почему нужен массив.

Важно:Все данные нужно где-то хранить, чтобы можно было отделить уже ранее просканированые тайтлы и обращать внимание на новые.

Этап 2Добавление тайтлов на сайт с переводами.

Все данные, который мы спарсим на этапе 1 (Названия и ссылку), мы должны загнать софтом максимально быстро на сайт по переводам с манхвами, мангой.

Там будет очередность полей следующая.

• Название английское
• Название русское
• Название другое (сюда корейское)
• Поле описание (Сюда просто слово - “Позже…”)
• Тип - Манхва
• Категория, 3 штуки: Веб, В цвете, Хентай
• Авторы манги - пропускаем
• Жанры, 3 штука: Гарем, Романтика, Повседневность
• Переводчики: (Добавим потом отдельно название)
• Статус проекта - Продолжается
• Возрастное ограничение - 18+
• Год выпуска: Ставить текущий год (учитываем будущую работу)
• Ссылка на манга чан - Пропускаем
• Ссылка на оригинал\анонс - Сюда мы должны вставить ссылку с сайта издателя, где искали новинку.
• Ссылка на анлейт - Пропускаем
• Постер - дадим картинку отдельно.
• Сообщение для модерации - “Описание, теги и обложку изменим позднее на подходящие”

Ну и если всё заполнено корректно, “нажать” на кнопку “Отправить на модерацию”

Важно:На сайте с переводами очень сильно не рекомендуется делать пустые заявки, тестовые, и т.д. Только реальные.

Что нужно учесть:

• На сайте уже есть одна команда, у которой есть подобная схема работы, потому для нас важно, чтобы парсер + софт по добавлению тайтлов работал быстрее или на равне с ними. Для этого скорее всего нужно будет выделить сервер с базой данных и софтом для автоматизации работы.

• Данные для анализа сайта для парсера + страницу, где заполнять поля предоставим исполнителю в ЛС.
• Предусмотреть возможно замены аккаунта на корейской площадке, если аккаунт будет забанен.