Парсер текстовых файлов на удаленном сервере

Веб-программированиеЗакрыт11 заявок301 просмотр
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Поиск решения задачи - Парсер текстовых файлов на удаленном сервере.

Более 1 Гб текстовых файлов, содержащих линки. Требуется создание скрипта/софта способного с Максимальным быстродействием проверять файлы на наличие совпадений со списком линков(9000 линков) и при совпадении производить определенный манипуляции с найденной информацией.

Требования:

Общий объем проверяемых файлов может составлять -до 500 Гб.

Количество линков, на соответствии с которыми должно проверяться содержание файлов - до 20 000.

Проверка должна осуществляться автоматически 1-2 раза в день, либо круглосуточно по кругу.

Требуется МАКСИМАЛЬНОЕ быстродействие с минимальной нагрузкой на систему.

Рассматриваем реализацию проекта как в виде скриптов, так и в виде софта с управлением через веб.

16 лет назад
derby777
Gagne Robert 
NaN лет
16 лет в сервисе
Был
16 лет назад