Построить систему сбора данных из facebook

Сбор всех публикаций пользователей/сообществ из сети facebook по имеющемуся исходному списку пользователей/сообществ.

Необходимые данные:

id и наименование пользователя

id и наименование  сообщества

id и наименование  автора

текст публикации

ссылка на публикацию

кол-во репостов

кол-во лайков

кол-во комментарии

дата публикации

дата сбора данных.

Требования к системе:

Проверка и обогащение 100 000 (сто тысяч) профилей в течении одного часа

Язык программирования Python

Оптимальное расходование серверных мощностей

Возможность горизонтального масштабирования системы

Взаимодействие с внешней системой RestAPI

Читабельный код

Документирование кода

Документация к системе

*Серверные мощности будут предоставлены.

Сроки и этапы работ:

1. Разработка (1-2 месяца)

2. Внедрение (1-2 недели)

3. Сопровождение (3 месяца)

The task is to create a data collection system from Facebook.

Collecting all publications of users / communities from Facebook network according to the available initial list of users / communities.

Required data:

id and user name

id and community name

id and author name

text of publication

link to publications

number of reposts

number of likes

number of comments

publication date

date of data collection.

System Requirements:

Verification and enrichment of 100,000 (one hundred thousand) profiles in one hour

Python programming language

Optimal use of server capacities

Horizontal scaling system's capability

Interaction with the external Rest API system

Readable code

Documenting code

Documentation to the system

* Server capacities will be provided.

Terms and stages of the work:

1. Development (1-2 months)

2. Implementation (1-2 weeks)

3. Support (3 months)