Парсер youtube + обработчик данных
Задача состоит из 2 частей.
Первая часть.
Парсер youtube, точнее данных о роликах. Задача собрать максимальное количество данных с роликов.
Итак, скрипт должен выискивать видео ролики по указанному запросу (указываются в настройках) и схожими с ним видео.
Требуется найти максимально большое количество роликов по каждому запросу.
Итог.
Должны получены данные отправленные в базу
1) Дата парсенга
2) запрос (слово)
3) названия ролика
4) дата добавление ролика
5) количество просмотров
6) автор (имя если есть)
7) его ник на youtube youtube.com/user/mnzadornov/ - > mnzadornov
8) !! описание к ролику
9) адрес ролика
10) адрес канала (если возможно)
В базу не должны попадать дублирующие записи. А так же ролики с блокированных авторов и каналов (такая настройка опять же должна существовать в настройках)
Я не понимаю, как можно например все новые ролики получить, если кто знает расскажите буду благодарен.
Вторая часть
Обработка информации, которые мы спарсили.
Тут все намного сложнее.
Итак , цель всей этой работы поиск подходящих видео (критерий: количество просмотров, описание) и отправка определенного сообщения владельце (текст сообщения зависит от параметров видео и содержит данные полученные при парсенге). Отправку можно осуществить как автоматически, так и в ручном режиме, но с возможностью помещения в буфер обмена заготовки письма.
Дату отправки сообщения фиксировать. В случае если находится еще видео этого автора, то повторное письмо не может быть отправлено раньше чем 7 дней. После отправки 2 письма автор попадает в черный список, его ролики более в базу не попадают. Второе письмо отличается от первого.
Как я это вижу. Это таблица с информацией о том, что получено.плюс система фильтрации:
По количеству: 3 варианта
По описанию: 4 варианта
По слову запроса
По дате добавления: 2 варианта
В таблице поля из базы + кнопки письма (если автоматически под фильтр нужные будут, то вообще супер) + возможность добавить автора в блек лист + информация об отправке 1 письма + чекбокс, что бы убрать из таблицы. В архив отправляется строчка, после отправки сообщения.
В целом все. Мелкие детали можно уже в личке обсудить.
Хотелось бы узнать цену данной реализации и сроки.