Парсер 5 магазинов + обработка полученной тов.базы

Средства разработки: какой-то скриптовый язык (например, Ruby) + mysql.

Есть идея сделать сайт-агрегатор товаров одной тематики, который будет хранить в себе товарные базы нескольких магазинов, искать идентичные товары и выводить предложения по ним, сортируя по наименьшей цене.

Т.е. перед созданием самого сайта необходимо собрать и обработать товары с 5 магазинов. Именно это я и предлагаю сделать в рамках данного проекта.

Итак, кратенькое ТЗ:

- пишем парсеры 5 магазинов, в процессе парсинга заносим в базу названия, цены, описания, фотки товаров и проч.

- проводим сравнение товаров по ключевым словам в заголовках и описаниях, а так же по ценовым рамкам.

Далее разрабатываем оболочку для модератора, который будет отбирать и публиковать товары:

- выводим для модератора отобранные похожие товары, чтобы он по фоткам товаров определил какие отобраны правильно, а какие - ошибочно.

- выдаем уже отобранные РУКАМИ одинаковые товары модератору в новом интерфейсе, где оператор должен ввести заголовок (title) страницы, написать уникальное описание к товару, выбрать нужные картинки, определить категорию и нажать кнопку "публикация на сайте-агрегаторе".

Т.е. сначала парсим магазины и набиваем свою базу, сравниваем товары по заданным алгоритмам и находим потенциально одинаковые товары, а затем отправляем их на ручную модерацию и далее на публикацию на конечном сайте.

Очень желательно, чтобы система парсинга могла запускаться руками или самостоятельно по крону для проверки изменения цен, добавления новых товаров, определения удаленных товаров.

Для каждого сайта регулярные выражения должны быть выведены в интерфейсе этого скрипта. Чтобы в дальнейшем, в случае изменения структуры какого-либо магаза, я мог просто заменить регулярки из веб-интерфейса.

Оставляйте ваши предложения здесь, чем больше будет в предложениях информации - тем лучше.

Так же ОЧЕНЬ желательны любые куски вашего кода на php, для проверки его (кода) качества.

Цену не пишу, но прекрасно понимаю, что за 30 баксов такой комплекс скриптов не написать. Оплата по безопасной сделке, либо WMZ.

PS: только один магазин предоставляет свою базу в формате XML, поэтому приходится заморачиваться с парсингом. Если вы сможете предложить какой-то более простой пусть для сбора баз товаров, то это будет замечательно.

PPS: если мы с вами успешно реализуем данный проект, то будет смысл дальше заняться разработкой сайта тоже совместно.

--------------------------------------------------------------------------------------

ВНИМАНИЕ АПДЕЙТ: вместо php, лучше использовать более приспособленный язык, типа Ruby on Rails.