Цель:Сбор информации по производителям (отпускные цены) на их продукцию
(применимо к различным отраслям промышленности), а также цен розничной
торговли этими товарами в различных сетевых и специализированных
магазинах
Примеры сайтов (откуда планируется собрать цены):
igooods.ru , www.okeydostavka.ru ,
www.a-piter.ru/cena/1_vse_katalogi.html (возможно понадобятся элементы
OCR в этом случае) и т.п.
Разработать веб-краулер для сбора цен. Сбор данных только с добавленных сайтов (искать сами сайты не нужно, они уже найдены)
Причем не все страницы подряд - а выделенные категории - например - молочные продукты. Т.е. на igoods кликаем Молочные и идем только вглубь по списку продуктов по всем доп. страницам с ценами (названиями и доп параметрами мол.продуктов)
Т.е. парсер будет иметь подмодули (правила) для сбора с конкретных сайтов. Должна быть обеспечена гибкость редактирования этих правил на случай изменений на целевом сайте. + Относительная легкость для администратора (с опытом программирования) для добавления новых сайтов на основе существующих шаблонов (понятно что где-то потребуется сущ доработка, но по возможности максимально прозрачно)
NB: данные на сайтах могут быть по ajax в json.
Собранные цены (и параметры продуктов) заносятся в БД.
Нужно создать БД с гибкой архитектурой (для добавления новых категорий
продуктов и интересующих параметров например: мясные продукты, говядина,
замороженное, охлажденное, производитель-страна-город, дистрибьютор,
торговая сеть, состав, упаковка и т.п.)
Первоначально продукты питания. Позже будут добавлены другие товары -
строительные и т.д.
Выбрать БД (MySql/MariaDB, PostgreSQL и т.п.), ОС (скорее всего Linux
внутри вм на хостинге DigitalOcean)
Сделать веб UI (сайт - хостинг на том же DigitalOcean vm / nginx)
для отображения цен (пример UI в личном сообщении)
анализа (сравнения по разным параметрам) и фильтрации + возможно
графическое отображение (диаграммы, графики).
+ (в дальнейшем развитии , но заложено в архитектуре)
Гибкая поддержка разграничений доступа для разных категорий клиентов -
кому-то доступ только молочные продукты, кому-то молочные+мясные и т.п.,
кому-то только для одного города, кому-то по всем городам-странам.
Соответственно База (и UI для ее ведения) по клиентам - создание,
удаление, назначение доступа и т.д.
В будущем будет доп проект мобильных приложений (android/ios/ qt?) для
сканирования цен прямо в магазинах и отправки их в БД товаров.
Описание очень краткое , ТЗ составляется и будет обновляться.
Все моменты уточнять в чате-сообщениях.
