Парсер-граббер (сборщик инф-и) с досок объявлений
Нужен парсер-граббер (сборщик инф-и) с досок объявлений или программу автоматизации для агентства недвижимости со следующими возможностями:
Сделать программу (типа парсера-граббера) для выкачивания полного текста объявлений с сайтов- досок объявлений. Есть несколько интересующих сайтов (типа досок объявлений), например, irr.ru и др. Программа должна уметь выкачивать полный текст каждого объявления и фото (если есть) из произвольно указанных рубрик/ подрубрик этих сайтов. Тут также нужно учесть, что доски с объявлениями там многостраничные и если программа выкачала все имеющиеся на сегодняшний день объявления, то при последующем запуске она не должна опять весь старый архив подцепить, а только новые, т.е. соображать, по какой дате работаем. С каждого сайта объявления вносятся в раздел базы, относящейся к этому сайту. Каждое объявление в свою ячейку. Примерно так:
сайт А 1 объявление
2 объявление
… n объявление
сайт В 1 объявление
2 объявление
… n объявление
сайт С 1 объявление
… n объявление
Должна быть возможность редактирования скачанного текста объявлений.
Самое главное – информация, которую будет выкачивать программа будет являться исходной «пищей» для дальнейшей автоматизированной обработки (что не входит в данную задачу), но по этой причине программа и информация в ней должны быть в таком формате, чтобы максимально облегчить дальнейшую обработку информации программными средствами. Должна быть опция экспорта файлов со скачанной информацией, выбранной как с определенных сайтов, так и по датам – в т.ч. в Excel, Word, txt. Предоставить исходники.
С занесением в базу данных клиентов и контрагентов. С возможностью сформировать договор с клиентом/контрагентом. Возможность рассылки смс, электронная почта по найденным контактным данным.
Жду ваших предложений