Парсинг Zakupki.gov.ru
ВАЖНО:Ищу готовое решение, или кто уже
реализовывал подобную задачу т. к.
думаю есть подводные камни, о которых
я сейчас не знаю, но разработчик уже
сталкивался. Не хотелось бы тратить
лишние нервы и время как свое, так и
разработчика.
Нужно получать содержимое, которое отображается
на сайте ГосЗакупок — формировать БД
. Как саму информацию (табличная форма)
(Этап 1), так и прикрепленные файлы к
Закупкам=Документацию (Этап 3) — в
хранилище. С регулярным автоматическим
обновлением новыми Закупками, актуализацией
информацией ( в т.ч. кто победил в Закупках
которые уже «попали в БД», с какой
стоимостью и т.п..)
Коммерческие площадки на данном этапе не нужны (но
если есть опыт, предложения — в
перспективе интерес есть).
Функционал реализуемого Проекта аналогичен
существующим площадкам:
tenderland.ru,tenderplan.ru, navodki.ru, zakupki.kontur.ru, seldon.ru,
Сценарийработы следущий:
Этап 1.
Сформировали БД аналогичную Zakupki.gov.ru (пока без учета
прикрепленных файлов документации).
Пример, какие столбцы нужны — см
прикрепленный файл, можно больше, но не
меньше.
БД должна храниться в Интернете/сервере,
а не на компьютере пользователя, т. к.
должна происходить автоматическая
работа по синхронизации, а также будут
набираться большие объемы информации.
Архитектуру я на знаю — сервер ? Ваши предложения ?
Какая будет стоимость владения/содержания
? Где все будет храниться ?
Результатом Этапа 1 является : БД которая является
копией всех закупок с Zakupki.gov.ru
За последние 2 года, и все новые, которые
появляются.
Формат,на выш выбор, нужно обсуждать.
Предварительно предпочтительны: MS SQL Server, MySQL, PostgreSQL,
ClickHouse.
Ньюанс, который обязательно надо учесть. В
начале ячейки, напрмер ИНН, может быть
«ноль» 0245004926,или в начале номера закупки , например
0101500000319002160. Этинули нельзя терять, они значимые.
Этап2.
У пользователя существует перечень
поисковых ключевых слов, словосочетаний
= Шаблон для поиска интересующих Тендеров.
Должна быть возможность выгрузки по
ним в файл экесель для пользователя.
Поиск осуществляется по следующим
областям в каждой Закупке:
- наименование закупки
- ???извещение??? - вроде что-то такое
- прикрепленных файлах (doc, xls, pdf) документации — (это наверно сложно, к
тому же на этом этапе прикрепленные
файлы не рассматриваем - можно пока не
реализовывать),
- какие варианты еще возможны по вашему опыту?
Возможность из БД выгружать по поисковым словам, с
указанием интересующего периода
(например по дате публикации), в эксель
информацию о Закупках.
Пример выгрузки — см прикрепленный файл.
Этап1 и 2 - основные задачи текущего ТЗ. Нужно
оценить пока только их.
Дляполноты представления Задачи, пропишу
Этап 3. Это нужно учитывать при реализации
Этапа 1,2. Также прошу предварительно
оцениить стоимость/сроки Этапа 3.
Этап3.
Входе выполнения Этапа 1 и 2, в них должна
быть ссылка на архив прикрепленной
документации (файлы) по каждой Закупке
(с возможностью скачивания в хранилище
в облако и/или на компьютер пользователя).
В имени архива, предположительно должно
содержаться «номер закупки», чтобы была
возможность соотносить соответственно
Закупку с Архивом документации по ней.
Вопрос:бывает ли что после того как Закупка
размещена, в ней меняются прикрепленные
файлы? Если да, как решить вопрос с тем,
чтобы была самая актуальная версия
документации?
Кроме того, есть вопросы, как они будут
решаться:
Zakupki.gov.ru- часто уходит на регламентные работы, нужно быть независимым от этого, как это будет
решаться?
Правда ли, что данные на сайте Zakupki.gov могут измениться задним
числом, так ли это, как это будет
мониториться?
Интересует ваш опыт успешный/ не успешный реализации
подобных Проектов.
Стоимость,сроки Этапов 1 и 2.
Стоимость,сроки Этапа 3.
