Написать программу, для сортировки и обновления данных с парсера
Нужно написать Программу, для сортировки и обновления данных с парсера
Напишите пожалуйста:
1) Был ли у Вас опыт работы с подобными проектами (может частично)
2) Стоимость работы месяц/день/стоимость всего проекта
3) Сроки реализации
В файлах ТЗ прилагается только схема и вид базы данных. В каком формате данные поступают (Формат Базы или таблицы входящие Данные из Парсера(6 в схеме желтым) и в каком формате расположены дополненные данные для выгрузки (Таблицы для загрузки на сайт (14 в схеме желтым). Полное ТЗ включает в себя расписанный с примерами ,каждый блок программы. Полное ТЗ предоставляется при выборе испольнителя.
Общая идея:
Объединить данные с разных сайтов и получить таблицу(или базу данных) для загрузки на свой сайт с максимально
наполненными описаниями, отзывами и т.д товаров и списком цен и информации про продавцов как на hotline.ua
1)Есть парсер который синхронизируется и обновляет данные с программой сортировки
2)Данные с парсера поступают в программу с разных сайтов в определенном не меняющимся формате
3)Программа сортировки обработав данные формирует таблицу в заданном формате для синхронизации с сайтом например на OpenCart
4)Программа сортировки это локальная программа на мощном сервере которая должна как можно быстрее обрабатывать данные и не перегружаться:
4.1) Объем данных для обработки программой это 100 милионов и товаров и более с данными о товаре с интернет рынка Украины (название, цена, описание, тех характеристики, отзывы и т.д что есть)
4.2) В программе работают фильтры по разным направлениям, категориям и брендам (Строительные материалы, Сантехника, Телевизоры, Спорт и т.д )
4.3) Программа определят и объединяет одинаковые товары (название, цена, описание, тех характеристики, отзывы и т.д по заданным параметрам)
4.4) Программа формирует списки цен и продавцов по одинаковым товарам
4.5) Программа имеет функцию ручного указания что товары одинаковы
4.6) Программа определяет наибольший ассортимент товаров по каждому Бренду(торговой марке)
т.е выбирает у какой фирмы по заданной торговой марке больший ассортимент и его использует как базовый для
наполнения и поиска одинаковых товаров
5) Созданные настройки в программе и саму программу можно переносить на другие сервера и подключать к парсеру
заново
5.1) После переноса программы можно стереть (обнульть) все данные по логам и товарам. Оставив только настройки
6) Программа имеет авторизацию админ или менеджер
6.1) Админ полный доступ
6.2) Менеджер, доступ только к сортировке в ручную
Заранне благодарен за ответы! с уважением Гончарук Андрей