Нужна система парсеров и ассоциаторов
Есть текущая система парсеров, которая работает и парсит 6 сайтов (http://flamp.ru , http://yell.ru и тд)
Нужно либо развивать ее, либо написать свою.
Смысл - подключение новых парсеров должно быть легким, нужен фреймворк и дока.
Требования к системе парсеров
- Это парсеры отзывов.
- Состоят из двух частей: ассоциатора и парсера
- Ассоциатор сравнивает по телефону и тд фирмы из текущей БД, и БД на сайте (через форму поиска, к примеру)
- Парсер запускается регулярно и скачивает отзывы по данным фирмам
- Парсер работает из-под консоли (крон)
- Парсер пишет в БД статус текущей работы (обрабатываемый сайт, текущая фирма и сколько еще осталось)
- Парсер докачивает отзывы (заходит на фирму и скачивает только новые отзывы)
- Парсер проверяет отзывы на удаление (отдельный режим запуска) - исчезли с целевого сайта => помечаются удаленными и нас
- Парсер, при прерывании работы в результате сбоя, при запуске начинает с того места, где остановился.
Сайтов планируется порядка 50, оплата за каждый сайт определяется индивидуально.
Дамп таблиц базы с примерами записей вышлю по запросу.
Интерес на долгосрочное сотрудничество (долго сотрудничали с одним парнем, но он, к сожалению, пропал).
Комменты в коде - обязательны, и дока (туториал по созданию нового парсера). Обсуждается отдельная оплата этого дела.