"Парсер контента Google сниппетов":
.....
ТЗ "Парсер контента":
index.php - создание, редактирование и удаление проектов
Что здесь будет:
Настройка варианта граббинга(чтобы получить англ. сайт либо русскоязычный)
Соответственно получаем либо русский текст, либо английский.
3) С каким/какими модулем/модулями будем работать:
3.1) Где обязательно необходимы категории /publ, /photo, /dir,
3.2) Где необязательны категории /blog, /news, добавление страниц
Для каждого модуля нам необходимо указывать число категорий. Для 3.2) можно указать что категории не будут использоваться, т.е. придеться вручную через запятую писать ключевые слова.
4) Названия категорий и ключевые слова для парсинга контента для этой категории берем из mysql базы(с возможностью редактирования).
Цель в пункте 4). - нам необходимо сделать возможность создания различных категорий на разных сайтах.
Пример -
Категория: Бытовая техника, Домо-техника, Техника в доме;
Ключевые слова к категории: микроволновая печь,утюг,миксер,телевизор;
Категория2:Форекс,Forex,Трейдинг,Торговля;
Ключевые слова к категории2:форекс,трейдеры,индикаторы forex,трейд forex
и т д.
То есть скрипт должен обратиться к базе, и в зависимости от количества категорий - случайно взять несколько, присвоить их к этому сайту и при каждом парсинге случайно брать ключевые слова ОТ этой категории.
Категории присваиваются один раз, в то время как ключевые слова для парсинга - берутся случайным образом(необходимо учесть чтобы скрипт учитывал какие страницы каких ключевых слов он уже парсил,чтобы не было повторения).
5) Указать количество блоков на каждом модуле(можно указывать от 3 до 7(3-7), 5-10 - т.е. случайно на каждой странице). Кроме модуля /dir , тут всегда 1 блок - название и описание
6) По умолчанию установлено что скрипт переводит ссылки в редирект через anonym.to http://anonym.to/?http://google.com , при этом обрамляя ссылки
Получиться должно что то вроде этого:
7) К каждому модулю необходимо выставить количество добавляемых материалов за один запрос start.php
Опция: Удалять теги либо нет
Опция: Работа с модулем photo. Скрипт берет ключевое слово, и ищет в гугле по этому ключевому слову картинки, далее хватает URL картинки и добавляет картинку через форму, при этом название использует ключевое слово 1, ключевое слово 2 и т д.
Как можно больше рандомизации.
Используем: http://images.websnapr.com для создания тумбинушек для сайтов. http://images.websnapr.com/?size=S&url=http://www.naymz.com/search/vladimir/nesterov/2031456&key=67Z00G5o6aPH
За запуск скрипта отвечает start.php
Сделать так, чтобы потом при желании можно было легко подключить интеграцию с другими движками.
необходимо писать скрипт чтобы его
1) легко было дописать
2) могут измениться формы добавления или авторизации у ucoz - переписывать придеться