Настроить парсеры на Python (Apache Kafka + ClickHouse)

Никита12 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
26.11.2024

Есть несколько парсеров на Python.

3 самописных и 3 с rapidapi.com (по сути тоже готовые).

Нужно их доработать, а именно настроить запись в Apache Kafka, а из кафки разбор в ClickHouse.

Возможно, потребуются небольшие доработки по парсерам. Но в целом они простые - просто получаем гет запросами данные с веба и записываем куда нужно.

От исполнителя ожидаем:

1. Понимание и опыт работы с Apache Kafka и ClickHouse

2. Знания по настройке этих систем

3. Хорошие знания в Python

4. Свободное время для выполнения заказа

Подробное ТЗ по каждому парсеру пришлю исполнителю.

Потом нужно будет написать на FastApi API для работы с фронтом.

Если сработаемся и будет желание, отдам этот проект вам.