Парсер данных на PHP
Нужно с определенного сайта переодически получать информацию: парсить результаты поиска и записывать в базу.
Покажите, пожалуйста, Ваши наработки в этой области.
Использовали ли Вы какие-либо энжины для получения информации с веба?
Что нужно сделать и мое видение реализации:
Скрипт 1. Получает ссылки на начало списка, записывает в базу и проходится по всем страничкам списка.
Я прописываю в скрипте ссылку на список объектов, которые нужно получить(на первую страничку). нужно обработать все странички в списке - порядка 100 страниц.
Скрипт 2. Получает из базы 1 ссылку на детальное описание, скачитает его, парсит - записывает данные в различные поля базы, ставит статус ссылки - обработан. Переходит к следующей.
Оба скрипта должны логировать в файлы все свои действия.