Парсеры С++ или аналог (Сбор статистики просмотра)
Требуется написать парсер логов огромный объемы ГИГАБАЙТЫ, для сбора статистики
Логика сложная:
1) Очишаем по USER AGENT всех ботов
2) По IP КЛИЕНТА вычишаем тех, кто посетил более 15 продуктов
3) Считаем по каждому ID продукту кол-во просмотров УНИКАЛЬНО на каждлый IP (То есть каждому продукту засчитываем только 1 просмотр)
Парсеров много нужно будет писать таких, нужен профессионал с опытом работы по написанию таких парсеров
Сервер на Freebsd
Писать результаты нужно будет в mysql
Писать на С или каких то аналогах чтобы парсер летал
Прием проекта будет таким образом:
Даю лог, 1 ГБ, запускам парсер и смотрим:
а) top сервера чтобы он не ушел в даун ни по диску ни по процу (На этапе доложен быть разбити парсер)
б) устойчивость и четкость подсчета статистики(Чтобы не получилось так что не записав в базу статисткиу, он обрубил свое выполнени)
Аськ 9975 44