Парсинг открытых групп VK
Необходимо реализовать прототип сбора данных из открытых групп ВК, включая:
- текстовый контент сообщений в группе/в обсуждениях
- метаинфо о посте (timestamp написания)
- кол-во реакций, репостов
Грузить можно все группы для дальнейшего анализа, либо фильтровать их по ключевым словам/тематикам.
Требования к системе:
- Нагрузка >50 запросов/сек
- Горизонтальная масштабируемость (по железу/прокси)
- Сохранение результатов в NoSQL БД (обсуждаемо, можем перенести во 2 этап и далее)
- Асинхронность запросов в ситуации если возможны задержки ответов от VK API
- Базовый мониторинг запросов: кол-ва + статусы во времени
Цены и сроки - обсуждаемы. Работу организуем по этапам, в привязке к получившимся результатам. Этапы более точно формализуем.
При отклике просьба указать релевантный опыт, коротко бэкграунд (если не заполнен в профиле). Для задачи нужен разработчик уровня middle+