Веб-приложение для учёта граббинга
Язык Perl.
Необходимо разработать приложение для учёта/управления граббингом с досок объявлений по работе.
Через интерфейс мы добавляем адреса сайтов с объявлениями по работе и сопоставляем эти адреса с различными программистами (которые пишут скрипты граббинга с этих сайтов).
Скрипты собирают следующую информацию с сайтов:
a) company name
b) jobtitle
c) jobdescription
d) emailadress
e) contactperson (если есть)
f) url of job
g) timestamp.
После того, как программист загружает скрипт на сервер мы его одобряем и с этого момента скрипт работает через Cron каждые 7 дней. В результате мы должны получить сводную таблицу по результатам работы (см. ниже).
Приложение должны иметь следующие разделы:
1) Окно авторизации (для входа пользователя в систему). В начале есть только один аккаунт -- admin.
2) Интерфейс управления пользователями (добавление, удаление, изменение)
3) Интерфейс управления досками объявлений (добавление, удаление, изменение, просмотр информации). Должен позволять добавлять URL досок объявлений (которые позже будут граббиться). Кроме того должна быть возможность выполнить импорт списка таких досок (и все URLы должны быть добавлены одной операцией).
Файл для импорта выглядит примерно так:
URL; Site_Name
Для каждого сайта также должны быть возможность прописать язык, страну и (важно!!!) добавить дополнительные поля (по которым позже мы будем сортировать результаты).
4) Аккаунты программистов будут доступны приложению через таблицу, но нужен интерфейс для утверждения этих аккаунтов (они будут добавляться через другие приложения).
5) После того как мы добавили URL сайта и утвердили аккаунт программиста нужен интерфейс для связывания Сайт/Программист. После связывания URL больше недоступен для ещё одного сопоставления, но один и тот же программист может иметь несколько сайтов.
6) Программисты будут заходить в систему через другие (отдельные) приложения, закачивать свои скрипты (которые мы будем там же утверждать). После этого данные будут собираться в таблицу. Эту часть делаете не вы (самое главное здесь таблица результатов).
7) Нужен раздел в котором будут показывать все сайты с информацией (для которых работает граббинг).
8) Главное назначение приложения -- подсчёт количества компаний, которые размещают объявления.
Работает это примерно так:
В начале проверяем emailadress объявления (из имеющихся в нашей базе) и выдёргиваем оттуда доменное имя. Допустим у нас есть три объявления для [email protected] и три для carrer2@)somefirma.com. Тогда мы подсчитываем, что фирама http://www.somefirma.com разместила 6 объявлений.
На выходе мы получаем сводную таблицу такого вида:
somefirma.com xxx объявлений на доске1 xxx объявлений на доске2 примерное количество уникальных объявлений: xxx
Это всё, что нужно. Самое главное -- приложение должно обрабатывать уникальные email из таблицы граббинга. Скорей всего нужно будет выполнять вычисления по Cron'у, так как таблица будет большой и выполнять real-time вычисления будет сложно. Поэтому нужно будет создать задание в кроне, которое будет каждый час (допустим) создавать статистику для каждой компании (с учётом только что добавленных новых объявлений).
Обязательно указывайте цену и срок выполнения проекта (будет лучше, если вы отпишитесь дополнительно мне в контакты).