Скачать и обработать данные с сайта – №598450
Фрилансеры предложат решение вашей задачи уже через несколько минут!
Публикация заказа на фриланс бирже не займет много времени.

Необходимо скачать и обработать информацию с ftp-сайта zakupki.gov.ru (информация в открытом доступе):
***/out/published/" rel="nofollow" target="_blank">ftp://fz223free:***/out/published/
Для каждого региона в указанной папке (/out/published/) кроме служебных папок (archive, undefined и т.п.)
необходимо скачать все архивы с данными из подпапки purchaseNotice (напр., /out/published/Adygeya_Resp/purchaseNotice/)
в т.ч. из подпапок purchaseNotice/daily и purchaseNotice/full
Далее необходимо распаковать скачанные архивы и обработать все XML-файлы в скачанных архивах:
1. Оставить только уникальные записи о закупках (уникальность по purchaseNoticeData/guid)
(возможно, что одна запись с одним guid может быть в разных файлах)
2. Собрать информацию:
<ns2:purchaseNoticeData>
<ns2:guid>
<ns2:createDateTime> - нужна только дата YYYY-MM-DD
<ns2:name>
<ns2:customer>
<mainInfo>
<fullName>
<shortName>
<inn>
<kpp>
<ogrn>
<legalAddress>
<postalAddress>
<phone>
<email>
<ns2:contact>
<firstName>
<middleName>
<lastName>
<phone>
<fax>
<email>
<ns2:publicationDateTime> - нужна только дата YYYY-MM-DD
3. Добавить столбец с названием региона (как указано на сайте, напр.: Adygeya_Resp)
4. Собранную информацию представить в виде таблицы Excel 97-2003 (xls):
Adygeya_Resp | 759e7ac3-73cb-4b2d-bb11-7a6119e00a66 | 2013-03-05 | Поставка дорожных знаков для нужд ГУП РА "Кошехабльский ДРСУ" |
Государственное унитарное предприятие Республики Адыгея "Кошехабльский дорожный ... | ... | ... |
------
5. Дополнительно по возможности хотелось бы получить сам скрипт, использованный для сбора и обработки данных (если это bash/perl/awk/sed/grep и т.п, а не какая-нибудь экзотика).
По бюджету -- предлагайте свой вариант суммы и способа оплаты, рассмотрим.
- Прием заявок
- Выбор исполнителя
- Выполнение заказа
- Обмен отзывами
Другие заказы в категории «Веб-программирование»
Задача: дать зарегистрированным пользователям возможность иногда заливать на ... Читать дальше
Задача: дать зарегистрированным пользователям возможность иногда заливать на сайт видео-файлы (размером 750 Мб-2 Гб).
Условие: на компьютерах пользователей самые новые браузеры (если в каком-то браузере скрипт не работает - не беда). Свернуть
Требуется изменить некоторые данные в базе данных, а также убрать вывод данных c сайта. ... Читать дальше
Требуется изменить некоторые данные в базе данных, а также убрать вывод данных c сайта.
Нужно сделать несколько изменений. Подробнее при переписке с исполнителем.
CMS самописная на PHP, MySQL, JS и Ajax.
Указывайте ссылки на ваше портфолио.
Наличие отзывов приветствуется. Свернуть
Необходимо написать простенький скрипт, который по заданным урл будет собирать те, на которых будет заданный контент.
Например, необходимо ... Читать дальше
Необходимо написать простенький скрипт, который по заданным урл будет собирать те, на которых будет заданный контент.
Например, необходимо по заданному списку урлов сайта найти все страницы которые имеют надпись "не найдено"
Весь массив найденных урлов с заданным контентом в логе должен быть обособлено,каждый на отдельной строке, чтобы было возможно его выделить и внести в эксель цсв итд Большое число урлов для обхода. Свернуть
И выдать для каждой категории урлы в следующем виде (например для раздела ссылка ... Читать дальше
И выдать для каждой категории урлы в следующем виде (например для раздела ссылка
zaimiwm.ru
zaimiwm
то есть без ссылка без www
но в двух вариантах:
zaimiwm.ru
zaimiwm
debtum
debtum.ru
gcb24
gcb24.com
Выдать результат в файле excel по домену на строке Свернуть