Грабер статей

Дмитрий19 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
12.01.2008

Необходимо написать скрипт для грабинга статей с сайта http://www.mobime.ru/reviews/.

При запуске скрипт берет все статьи и кладет в таблицу БД.

При повторном запуске скрипт берет только новые статьи.

Скрипт создает на сервере папку под каждую статью и скачивает туда все встретившиеся картинки.

Скрипт должен уметь запускаться по крону.

Каждая статья парсится в БД со следующими полями: Уникальный номер, Название, Краткое описание, Тело статьи оригинальное, Тело статьи модифицированное (см. ниже), Дата статьи, Дата парсинга, Сайт с которого спарсено (в данном случае http://www.mobime.ru), Страница с которой спарсено, Автор, Адреса картинок (разделение точка с запятой).

Тело статьи модифицированное - замена всех путей картинок на локальные пути, замена всех ссылок на редирект, вырезаны все стили (оставлены только разрешенные теги, список задается в настройках).

Исполнитель предоставляет SQL-скрипт для создания необходимых таблиц, файл PHP c настройками, основной файл PHP, который подключает файл с настройками.

Файл с настройками хранит настройки подключения к БД, Начальную страницу с которой начинается парсинг, шаблоны для разбора парсеных страниц, теги для вырезания и т.д.

Заявки фрилансеров