Парсинг информации с нескольких сайтов и объединение

Необходимо спарсить информацию с нескольких сайтов- один из них авито, объединить эту информацию и дать возможность поиска по заданным и меняющимся в зависимости от задач параметрам.

При этом общий файл должен обновляться с определенной периодичностью, новая информация с сайтов копиться, ушедшие (архивные) объявления с сайтов в общей базе оставаться, дубликаты удалятся.