Задача построить систему сбора данных из facebook
Задача построить систему сбора данных из facebook.
Сбор всех публикаций пользователей/сообществ из сети facebook по имеющемуся исходному списку пользователей/сообществ.
Необходимые данные:
id и наименование пользователя
id и наименование сообщества
id и наименование автора
текст публикации
ссылка на публикацию
кол-во репостов
кол-во лайков
кол-во комментарии
дата публикации
дата сбора данных.
Требования к системе:
Проверка и обогащение 100 000 (сто тысяч) профилей в течении одного часа
Язык программирования Python
Оптимальное расходование серверных мощностей
Возможность горизонтального масштабирования системы
Взаимодействие с внешней системой RestAPI
Читабельный код
Документирование кода
Документация к системе
*Серверные мощности будут предоставлены.
Сроки и этапы работ:
1. Разработка (1-2 месяца)
2. Внедрение (1-2 недели)
3. Сопровождение (3 месяца)