Агрегатор открытых данных

Краткое описание:1. Ядро системы, написанное на C#, которое скачивает файлы данных из интернета, анализирует их содержимоеи формирует из них наборы данных для SQL Server.  (2016). 2. База данных  SQL Server, где эти данные хранятся и осуществляется их поиск по внешним запросам.Активно используется внутренний поисковый механизм, построенный на использовании хранимых процедур и Full Text Search. 3. Визуализатор данных, написанный на Python / Django, собирающий данные из различных источников внутри базы данных и предоставляющий их на вход механизма шаблонов Django.  (Django 2.0).

Разработчик должен уметь: 1. Создавать / модифицировать процедуры автоматического или полуавтоматического скачивания данных из интернета с различных источников на С#.

2. Анализировать содержимое  скачанных файлов (в основном это .XML и .CSV данные) и формировать из них наборы данных для SQL Server. (C#) Создавать / модифицировать процедуры загрузки полученных структур в базу SQL Server.

3. Добавлять  / модифицировать структуры таблиц и индексов базы SQL Server, хранимые процедуры, переносить данные средствами T-SQL или обработчиками C#.4. Понимать работу механизма FULL TEXT SEARCH и быть готовым модифицировать существующие хранимые процедуры либо создавать новые (T-SQL). 5. Знать язык программирования PYTHON на среднем уровне, уметь запрашивать данные из таблиц SQL Server, формировать из них необходимые наборы данных для визуализатора на Django. 6. Быть готовым к анализу возможных ошибок, связанных с заведомой не идеальностью исходных файлов. Искать способы устранения данных ошибок в рабочей системе (C#, Python). 7. Умение формировать шаблоны WEB страниц на HTML / Django приветствуется, но не обязательно, сейчас этим занимается отдельный разработчик.