Я понимаю, как ты устал от однообразных неинтересных задач в программировании. В нашем проекте тебе действительно придется пошевелить мозгами, чтобы найти нетривиальные решения и реализовать их. У нас алгоритмический торговый робот, который торгует на спотовом ...
Импорт базы данных из файлов
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
Задача:
Написать парсер, который рекурсивно обойдет все файлы, которые хранятся на диске, разберёт данные и положит их в PostgreSQL.
Количество записей: ±2 млн
Объем данных: ±150 Gb
База данных: PostgreSQL (будет хоститься на DigitalOcean)
Требования:
- Ведение лога, чтобы можно было отловить ошибки и быть уверенным в целостности данных.
- Высокая скорость импорта. Нужно выбрать оптимальный способ для импорта данных в PostgreSQL. Желательная скорость 2-5 часа. Допустимая скорость 12 часов.
Структура базы данных:
- URL
- Title страницы
- Категория (laptops/device/hwid)
- Тип устройства (sound/video/ etc…) – только для категории device
- Бренд производителя (Acer/Asus/Nvidia/Intel/ etc…)
- Остальной HTML текст
- Количество символов в поле “Остальной HTML текст”
- Исходное название папки и файла из которого производился импорт
Пример исходных данных (полный архив весит ±150 Gb): https://wdfiles.ru/0aac93
- Похожие заказы
- $3340Прикладное ПОнет заявокЗакрыт2 года назад
Качество кода хорошее, в дальнейшем возможна поддержка и доработки. Остался рад вопросов, которые не были сделаны в связи с возникшей ситуацией в мире, по этому, нужно просто добить уже почти готовый продукт. ТЗ и программу ...
Прикладное ПО4 заявкиЗакрыт2 года назадНеобходимо разработать бота под управлением через Telegram Есть специфическая задача, возможность ставить 2000+ ордеров в секунду. Нужен специалист знающий ограничения и способы обхода АПИ бинанс.
Прикладное ПО1 заявкаЗакрыт2 года назадЗдравствуйте! Необходима программа для отслеживания движения пучка лазера на чёрном экране (всё это будет происходить в тёмной комнате). Будет использоваться лазер, модуль камеры OV7670. Результат работы программы - таблица положения пучка лазера от времени. Отслеживать можно любы ...
Прикладное ПО2 заявкиЗакрыт2 года назадЕсть прошивка, в ней по адресу 0х80 перечисляются разделы по 12 байт на раздел примерно так: 28 B9 06 00 - начало раздела (6B928) [b]необходимо преобразовать в Uint32 обратный порядок[/b] 90 92 2E 00 - размер (2E9290) ...
Прикладное ПО1 заявкаЗакрыт2 года назадНужно сделать скетч для Arduino Mega. В архиве описание функционала и таблица с используемыми входами/выходами и переменными. В предложении указать стоимость и срок.
Прикладное ПО3 заявкиЗакрыт2 года назадМне нужно выполнить задание, а именно написать программу - детектор смены сцен с использованием ML на python. Есть полное описание задания в jupyter notebook вместе с датасетом, обучающей выборкой и рабочим примером. От вас хотел ...
Прикладное ПО2 заявкиЗакрыт2 года назад- $20
Нужно написать большой составной макрос Excel для обработки прайса. Задачи макроса: 1. Скачать вложение из почты Outlook 2. Сохранить файл в заданной папке с заданным именем (тема письма+ наименование файла+дата) 3. Если имя файла содержит "Прайс", запустить макрос ...
Прикладное ПО2 заявкиЗакрыт2 года назад Необходимо создать сложный Telegram бот для обучения с внешними интеграциями, который при необходимости можно будет легко перенести в WhatsApp или VK. Какие функции должны быть: -Вход в бот по оплате или по паролю ...
Прикладное ПО3 заявкиЗакрыт2 года назад- $180
ДД,Требуется создать программу немного напоминающую ФотоШоу Про (https://fotoshow-pro.ru/) (или ProShow Producer).Схема работы:1) клиент регистрируется (прописывает логин и пароль)2) после оплаты, клиент получает доступ к программе он-лайнПрошу в приложении файл с ТЗ.Спасибо
Прикладное ПО1 заявкаЗакрыт2 года назад