Разработка и внедрение механизмов сбора (crawling)

Что нужно (Срочно):

1) Автоматическую систему, которая соберет 50 000 упоминаний (ссылок) в сети интернет по конкретному запросу.

Срок выполнения задачи:

3 дня (или готовы к диалогу)

2) Система все запросы сигментирует по:

1. Дате

2. Страна

3. Региону (область или город)

4. Язык

5. Площадка (е-СМИ, соц сети, видеохостинги, блоги, форумы)

Срок выполнения задачи:

5 дней (или готовы к диалогу)

Как вариант, это может быть выполнено:

как автоматическая система

как разовое выполнение задачи.

Обязанности:

Разработка и внедрение механизмов сбора (crawling) и индексирования онлайн-ресурсов (сайты, СМИ, блоги, форумы и т.п.);

Построение приложений поиска и анализа данных;

Интеграция c API внешних систем (Facebook, Twitter, VK.com);

Работа с различными семантическими библиотеками;

Поддержка системы экспорта данных и модуля подготовки отчетов.

Основные требования:

Твердые знания языка разработки JAVA.

Понимание и умение работать с технологией XML/XSLT

Знание PHP приветствуется

Ответственность и целеустремленность