Написать программу, для сортировки и обновления данных с парсера

Андрей7 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
01.12.2017

Нужно написать Программу, для сортировки и обновления данных с парсера

Напишите пожалуйста:

1) Был ли у Вас опыт работы с подобными проектами (может частично)

2) Стоимость работы месяц/день/стоимость всего проекта

3) Сроки реализации

В файлах ТЗ прилагается только схема и вид базы данных. В каком формате данные поступают (Формат Базы или таблицы входящие Данные из Парсера(6 в схеме желтым) и в каком формате расположены дополненные данные для выгрузки (Таблицы для загрузки на сайт (14 в схеме желтым). Полное ТЗ включает в себя расписанный с примерами ,каждый блок программы.  Полное ТЗ предоставляется при выборе испольнителя.

Общая идея: 

Объединить данные с разных сайтов и получить таблицу(или базу данных) для загрузки на свой сайт с максимально 

наполненными описаниями, отзывами и т.д товаров и списком цен и информации про продавцов как на hotline.ua

1)Есть парсер который синхронизируется и обновляет данные с программой сортировки

2)Данные с парсера поступают в программу с разных сайтов в определенном не меняющимся формате  

3)Программа сортировки обработав данные формирует таблицу в заданном формате для синхронизации с сайтом например на OpenCart

4)Программа сортировки это локальная программа на мощном сервере которая должна как можно быстрее обрабатывать данные и не перегружаться:

4.1) Объем данных для обработки программой это 100 милионов и товаров и более с данными о товаре с интернет рынка Украины (название, цена, описание, тех характеристики, отзывы и т.д что есть)

4.2) В программе работают фильтры по разным направлениям, категориям и брендам (Строительные материалы, Сантехника, Телевизоры, Спорт и т.д )

4.3) Программа определят и объединяет одинаковые товары (название, цена, описание, тех характеристики, отзывы и т.д  по заданным параметрам)

4.4) Программа формирует списки цен и продавцов по одинаковым товарам

4.5) Программа имеет функцию ручного указания что товары одинаковы

4.6) Программа определяет  наибольший ассортимент товаров по каждому Бренду(торговой марке)

 т.е выбирает у какой фирмы по заданной торговой марке больший ассортимент и его использует как базовый для 

наполнения и поиска одинаковых товаров

5) Созданные настройки в программе и саму программу можно переносить на другие сервера и подключать к парсеру 

заново 

5.1) После переноса программы можно стереть (обнульть) все данные по логам и товарам. Оставив только настройки 

6) Программа имеет авторизацию админ или менеджер

6.1) Админ полный доступ

6.2) Менеджер, доступ только к сортировке в ручную

Заранне благодарен за ответы! с уважением Гончарук Андрей