Консультация по оптимизации базы данных

Базы данныхЗакрыт1 заявка4562 просмотра
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Добрый день!

Ищем эксперта по PostgreSQL и/или Clickhouse, с целью проконсультировать по вопросу решения задачи, коротко описанной ниже.

Дано:

Большой объем данных более 8 терабайт

Объемы работы с базой:

1) 50 000 000 inserts rows

2) 1 200 000 000 updates rows

3) 1 000 000 000 selects rows

На данный момент все данные на postgres + timescaleDB

Вся архитектура размещена на собственных виртуальных серверах в кластере из 5 физических серверов

Задача оптимизировать запросы и хранение данных, чтобы можно было получать аналитические данные по этим таблицам в максимально короткие срок, как пример, группировка и заполнение пробелов в таблице на 1 500 000 000 строк по месяцам для 300 000 итоговых результатов (одна строка это продукты разных брендов, итоговая выборка - это сумма столбцов, количество, среднее значение, а также более сложные аналитические расчеты и тд, группе за 30 дней, где каждый день это 50 000 000 записей продуктов для 300 000 брендов)

Архитектура размещается на собственных виртуальных серверах в кластере из 5 физических серверов

Пишите за дополнительной информацией, предлагайте свою цену.

PostgreSQL
2 года назад
smmwb
Роман 
29 летРоссия
2 года в сервисе
Был
10 месяцев назад
  • Похожие заказы

  • Исправление ошибок и доработка базы данных в Microsoft Access

    Необходимо отладить работу базы!  Отредактировать часть отчетов, добавить новый формы отчетов. В дальнейшем возможно сотрудничество на постоянной основе в части поддержания работоспособности БД.

    Базы данных4 заявки
    Закрыт
    2 года назад

  • Получение JSON, много

    Нужно получать JSON данные по API на Python и добавлять результат в базу данных ClickHouse. Нужно предусмотреть асинхронность и многопоточность. Предусмотреть повторы при получении 429 ошибки. Предусмотреть использования прокси при бане. Главное это высокая скорость работы и гарантированное получение ...

    Python
    Базы данных1 заявка
    Закрыт
    2 года назад

  • Нужен скрипт на python для вывода данных, пользуясь API.

    1. Сделать вывод данных полученных через API etherscan На данной странице, мы видим статистику торгуемых пар за последние 24 часа: [url=https://cn.etherscan.com/dex#tradingpairs]https://cn.etherscan.com/dex#tradingpairs[/url] В переключателе «Select DEX» надо выбрать «Fee: 1.00%» Собственно задание – нужно сделать аналогичное, пользуясь API [url=https://uniswap.org/developers]uniswap.org/developers[/url] Вывод ...

    PythonExcel
    Базы данныхнет заявок
    Закрыт
    2 года назад

  • Поправить таблицу в Excel

    [b]лист кулинария[/b] столбец - [b]С[/b] 4 вида выбора: [b]A. B.C. NA[/b]. (выпадающие значения) A равен - 0 баллы B равен - 5 баллы С равен - 10 баллы NA равен - не учитывается баллы [b]столбец - D - убираем столбец - E - ...

    Excel
    Базы данных1 заявка
    Закрыт
    2 года назад

  • Настроить отчётность в Jira

    Ищем специалиста по работе в Jira. [b] Что надо сделать?[/b] - Настроить автоматическую отчётность. Она должна отражать объём работ, как одного сотрудника, так и всего отдела в целом. Под объёмом работ подразумевается кол-во часов и то, какие ...

    Базы данныхнет заявок
    Закрыт
    2 года назад

  • Выгрузить базу. Импорт

    Необходимо выгрузить базу компаний, поставляющих товар в РФ по 10 значному коду тн ВЭД. Интересует название компании, страна, объем поставки. За 2020 и 2021 (сейчас доступно до сентября).  Кто может и сколько будет стоить?

    Базы данных1 заявка
    Закрыт
    2 года назад

  • Написать плагин для импорта данных из файла Excel в базу данных MySQL

    Необходимо написать плагин для импорта данных из файла Excel в базу данных MySQL. И возможность массовой загрузки файлов с локального или виртуального адреса. CMS (движок) - DLE 14.0 Напишите свою цену, сроки.

    MySQLDLEExcel
    Базы данных1 заявка
    Закрыт
    2 года назад