Парсинг четырех сайтов

Необходимо распарсить 4 сайта – товары и характеристики, удалить дубли.

Сравнить с базой 5ого сайта: дубли склеить (если на пятом сайте уже есть такой же товар из базы товаров первых распаршенных 4ех сайтов, ставим товару в распаршенной базе ID из 5ой базы).

Более подробно структуру базы и урлы – в личку откликнувшимся.