Web-crawler + DB (SQL) + Web UI

Цель:Сбор информации по производителям (отпускные цены) на их продукцию

(применимо к различным отраслям промышленности), а также цен розничной

торговли этими товарами в различных сетевых и специализированных

магазинах

Примеры сайтов (откуда планируется собрать цены):

igooods.ru , www.okeydostavka.ru ,

www.a-piter.ru/cena/1_vse_katalogi.html (возможно понадобятся элементы

OCR в этом случае) и т.п.

Разработать веб-краулер для сбора цен. Сбор данных только с добавленных сайтов (искать сами сайты не нужно, они уже найдены)

Причем не все страницы подряд - а выделенные категории - например - молочные продукты. Т.е. на igoods кликаем Молочные и идем только вглубь по списку продуктов по всем доп. страницам с ценами (названиями и доп параметрами мол.продуктов)

Т.е. парсер будет иметь подмодули (правила) для сбора с конкретных сайтов. Должна быть обеспечена гибкость редактирования этих правил на случай изменений на целевом сайте. + Относительная легкость для администратора (с опытом программирования) для добавления новых сайтов на основе существующих шаблонов (понятно что где-то потребуется сущ доработка, но по возможности максимально прозрачно)

NB: данные на сайтах могут быть по ajax в json.

Собранные цены (и параметры продуктов) заносятся в БД.

Нужно создать БД с гибкой архитектурой (для добавления новых категорий

продуктов и интересующих параметров например: мясные продукты, говядина,

замороженное, охлажденное, производитель-страна-город, дистрибьютор,

торговая сеть, состав, упаковка и т.п.)

Первоначально продукты питания. Позже будут добавлены другие товары -

строительные и т.д.

Выбрать БД (MySql/MariaDB, PostgreSQL и т.п.), ОС (скорее всего Linux

внутри вм на хостинге DigitalOcean)

Сделать веб UI (сайт - хостинг на том же DigitalOcean vm / nginx)

для отображения цен (пример UI в личном сообщении)

анализа (сравнения по разным параметрам) и фильтрации + возможно

графическое отображение (диаграммы, графики).

+ (в дальнейшем развитии , но заложено в архитектуре)

Гибкая поддержка разграничений доступа для разных категорий клиентов -

кому-то доступ только молочные продукты, кому-то молочные+мясные и т.п.,

кому-то только для одного города, кому-то по всем городам-странам.

Соответственно База (и UI для ее ведения) по клиентам - создание,

удаление, назначение доступа и т.д.

В будущем будет доп проект мобильных приложений (android/ios/ qt?) для

сканирования цен прямо в магазинах и отправки их в БД товаров.

Описание очень краткое , ТЗ составляется и будет обновляться.

Все моменты уточнять в чате-сообщениях.