Скрипт для сбора публикаций и сообщений из ВК
Нужно написать скрипт для сбора из VK публикаций и сообщений, содержащих ключевые слова (словосочетания).
Техническое задание на проект
Нужно написать два модуля, Получатель и Отправитель, связанные общим стораджем.
1. Получатель взаимодействует с VK через VK streaming API, подписывается на новости, через веб-сокет получает от VK все апдейты по мере их появления и складывает в какое-то хранилище, например mongo db.
2. Отправитель - RSS server, который выдает содержимое стораджа в виде RSS, и почтовый сервер (отдает содержимое стораджа по электронной почте).
Модуль, который работает с VK через VK streaming API, состоит из двух подсистем –
1-я -- управляет подписками - позволяет добавлять, менять, удалять правила поиска и подписывать веб-сокет на прием.
2-я -- принимающие веб-сокеты, которые принимают данные и сбрасывают их в базу, а также отвечают на пинги.
Я очень надеюсь (в доке я этого не нашел) что подписок для одного аппликейшена может быть много. Надо это проверить (если это не так, то нужно регистрировать разные аппликейшены).
Схема может выглядеть так -
Допустим нужна информация по макаронам и буддизму.
Создаешь подписку для макарон, получаешь url и ключ
Имя url и ключ регистрируешь правила, макс. 10 правил по 10 слов, слова могут быть константными или с допуском словоформ. Я предполагаю (в доке не нашел), что слова внутри правила имеют отношение И, а правила - ИЛИ.
Открываешь для макаронной подписки вебсокет и сбрасываешь все что по нему приходит в базу.
То-же делаешь для буддизма, это будет отдельная подписка.
С каждой подпиской ассоциирован отдельный RSS фид, но это забота второго модуля, отдающего.
Нужно иметь ввиду, что в дальнейшем проект планируется развивать, добавляя в него новые модули для разных соцсетей и соцмедиа (ОК, FB, ЖЖ и другие).