Нужно написать развитый парсер/граббер RSS на Perl.
На входе парсера будет таблица RSSta с таким набором полей:
1. id
2. r_ver
Версия RSS (0.91, 0.92,1.0,2.0) или Atom. RDF версию также надо уметь грабить.
3. r_fulltext
0 – сайт не отдает полную версию контента в RSS
1 – сайт отдает полную версию контента в RSS
4. r_url
URL RSS канала
5. r_rubrik
Рубрика канала. Будет указываться мной при заполнении таблицы.
Также в таблице могут быть другие поля, не значимые для вашей работы, поэтому надо делать выборку из базы в виде SELECT id, r_ver, …., а не SELECT * ….
Что должен делать скрипт.
1. Скрипт будет запускаться каждый день моим кроном по 4-5 раз в день.
2. Он делает выборку всех RSS каналов из таблицы RSSta (описана выше)
3. Если r_fulltext==1, то скрипт просто выдерает весь контент из фиды и укладывает в таблицу content_[id – из таблицы RSSta]. Набор полей в таблице content_xxx будет примитивный: id, дата, контент и длина контента без пробелов и тегов.
4. Если r_fulltext==0, из фиды выдераем адрес контента, заходим по ссылке, находим весь контент и точно также сохраняем его в таблицу content_[id].
Что ОБЯЗАТЕЛЬНО должен уметь скрипт:
1. Работать со всеми версиями RSS и Atom фид
2. Вести лог своей работы.
3. Если в контенте будут встречаться картинки, то пути к ним надо заменять на абсолютные.
4. Работать быстро!
Все фиды, которые будут находится в базу будут проверены фид валидатором, так что непредсказуемых ситуаций возникнуть не должно. Также вы должны учесть, что фидов в таблице RSS будет порядка 10 000, притом что 9 000 из них НЕ БУДУТ отдавать полный контент в фиду, поэтому суммарные нагрузки на скрипт могут доходить до 100 000 страниц в сутки. Поэтому приветствуется использование неблокирующих сокетов, многопоточность и событийные машины (особенно POE).
Если в работе будут использованы какие-то нестандартные модули, то обязательна ссылка на CPAN.
Просьба людей без опыта и без знания RSS не беспокоить. Предоплату могу сделать в минимальном размере и то только людям с хорошей репутацией.
Сроки разработки не критичны.
Если будут вопросы, то готов обсудить по асе: 237620497.
В своих предложениях сразу указывайте срок и цену.
Необходим модуль для CMS Joomla (1.5) или DLE (6.5), создающий на сайте каталог товаров различных магазинов с возможностью импорта данных из CSV , XML скриптинг на PHP, база данных Mysql; Примеры: 1) mastergid.ru (требования к XML - ...
Молодой команде требуется программист, имеющий желание и интерес принять участие в реализации нового проекта. Вкратце, общая направленность проекта – социальная сеть, нишевая, с API, с сожданием второго параллельного поддерживающего ресурса (тоже социальная сеть но в иной ...
Приглашаю РНР-программистов как начинающих, так и имеющих определенный опыт в написании комплекса скриптов для развлекательного стартапа. Сразу обращаю внимание, что требуются именно помощники для парного программирования. Также обращаю особое внимание, что наш проект не имеет ...
Нужен мост. 1. Одна регистрация. Человек регистрируется на сайте, получает учетки и на форуме, и наоборот. 2. Необходим скрипт синхронизации всех пользователей, т.е. таблиц с юзверями Джумлы и форума, если юзверь зареган только в одном месте, ...
Нужно согласно Техзаданию сделать сайт (движок + дизайн). Готовы работать с немосквичами только без предоплаты. Формы оплаты - предпочтительно безнал, но возможен и нал. Если цена будет небольшой, то можем заплатить с яндекс-кошелька. Присылайте ссылки ...
Необходимо написать небольшой php-скрипт для публикации статей/новостей. ТЗ вышлю на мыло. Просьба обращаться грамотных специалистов. Для связи используйте личные сообщения. Оплата 100WMZ.
Есть готовая CMS(самописная) не используящая базы данных. В админке этой системы уже есть готовый редактор(тоже самописный) Задача: Заменить этот редактор на WYSIWYG-редактор. Предложения без Потфолио не рассматриваются. ps: CMS элементарная.
Нужен человек с ИДЕАЛЬНЫМ знанием PHP/MySQL/Networking для работы над проектом по разработке граббера информации с большого числа источников. Требования: - 3-5 лет PHP - идеальное знание неблокирующих сокетов и других технологий - идеальное знание http 1.1 и 2 - ...
проект в приложении
Необходим класс на php : - авторизация через CURL с использованием прокси - заполнение нужных данных , ведение лога Просьба отисать тут только самим программистам , работу нужно сделать сегодня . Оставляйте ICQ для ...