Приложение для сбора и анализа информации
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
Harvester: Распределенная вычислительная система
Цель:
Создать приложение для сбора и анализа информации о веб-сайтов и документах. Приложение должно быть частью поисковой системы Toweya для расширения внутренней базы данных индекса.
Решение:
Мы разработали кросс-платформенное приложение под Windows и Linux, которое работает как служба в фоновом режиме. Оно выполняет две основные функции:
- наполнение базы данных индекса поисковой системы информацией о веб-сайтах и документах
- распределение вычислительных мощностей на компьютеры пользователей, снижая нагрузку на основные серверы
Python, Big Data, Интеллектуальный анализ данных
Ссылки:
