Универсальный парсер-граббер
Нужен универсальный парсер сайтов-каталогов. Как должен работать:
На первой странице - форма, в которую забиваем:
- название профиля
- адрес сайта
- шаблон ссылки на раздел
- шаблон ссылки на подраздел
- шаблон ссылки на детальное описание товара
- шаблоны краткого, детального описания, цены, картинки
- 3-5 шаблонов дополнительных параметров.
Кнопки Тестировать , Получить, Сохранить профиль, загрузить профиль
При нажатии Сохранить профиль - данные настройки сохраняются в файл конфига. В следующий раз профиль можно выбрать из выпадающего списка и Загрузить.
По нажатию Тестировать скрипт пытается получить ссылки на разделы и подразделы, ссылку на детальное описание товара, получить данные со страницы детального описания - и выводит 10 первых позиций в таблице.
По нажатию Получить скрипт получает все дерево ссылкок, обходит его, получает все описания товаров и записывает его в формате csv в файл. В процессе работы выдается статистика по времени и количеству занесенных товаров.
Возможно, существует готовое аналогичное решение?
Пишите сроки и цены.