Грабер

Для сайта www.life360.ru надо сделать экспорт новых материалов с различных сайтов (грабер) в библиотеку нашего сайта.

1. Для админа возможность добавлять и удалять сайты в грабер и из.

2. Редактировать экспорт если обновился сайт-донор

3. Удалять ранее добавленные материалы

4. RSS на сайте www.life360.ru "новые материалы" для раздела "библиотека".

5. Система тегов – возможность назначать тег (раздел, метка) для статей, экспортируемых с сайта-донора или одно из его разделов. Одинаковые теги добавленные к разным донорам должны объединять статьи разных доноров под одним тегом.

6. Группировка экспортированных материалов по тегам.

7. Облако тегов.

8. Рейтинг тегов – зависит от количества статей для данного тега.

9. Группировка статей в разделе (раздел – тег) по – самые читаемые, самые комментируемые.

10. Комментарий к статье

11. Функция "Отметить как прочитанную" – больше не показывать зарегенному юзеру эту статью. Не зарегенные юзеры эту функцию не видят. (ЭТОГО НЕ НУЖНО. УДАЛИЛ ИЗ ТЗ)

12. Ссылка в статье на сайт-донор (показывать – не показывать на нашем сайте ссылку на сайт-донор).

13. Функция "так же в этом разделе" – случайно выбранные статьи из этого раздела (статьи маркированные одним тегом).

14. Облако тегов.

15. На нашем сайте – отдельный раздел "библиотека".

16. Скрипт должен запускаться кроном. Задачи должны быть постоянные и временные. Постоянные - которые он каждый день будет делать или там определенное число раз в день или в неделю, а временные - пока не выполнит до конца. Возможность указывать частоту исполнения скрипта для каждого сайта-донора.

17. Если на сайте-доноре имеется дата добавления статьи, должна работать функция – "взять статьи с ХХ. По УУ". Или с Х и до самой первой. (То есть, я могу захотеть импортировать уже имеющиеся статьи, а могу только получать новые с какого-то момента.

18. Фотографии в материалах – для каждого сайта своя настройка – брать фото из материала или нет.

19. Если материал на сайте-доноре большого размера и разбит на страницы, нужна возможность настроить правила для экспорта такого типа материалов. Скачать их все на сайт, если ссылка типовая (материалы по ссылкам из материалов качать не нужно).

20. Вписать новый раздел в существующий дизайн нашего сайта.

От себя добавлю: я выбираю исполнителя, ориентируясь на вопросы, которые Вы задаете (толковые - +, нет вопросов -; По дополнениям, которые Вы предлагаете (есть идеи +, нет -.).

И позаботьтесь о себе - сразу укажите сумму и срок. Если секрет ото всех, отпишите мне личной почтой, но заявку оставьте все равно.

[Дополнение: Вт, 05 Июн 2007 11:54]

Дополнения к ТЗ после ответов на ТОЛКОВЫЕ вопросы.

1. Сайт-донор www.psylive.ru – написан на ASP. www.nkozlov.ru написан на пхп. Так как предполагается подключение и других сайтов, нужна эта возможность. Каких- пока не знаю. Или это надо знать обязательно прямо сейчас?

Нужна возможность задать для сайта-донора начальный и конечный код с сайта, после котого и до которого нужно брать материалы. То есть, сайты обычно имеют какой-то код, который указывает на начало и конец материалы.

Из импортированного материала должны удаляться джава-скрипты, реклама, ifreim и т.д. Согласуем по началу работы.

То есть, на выходе я должен иметь чистый текст, в котором осталась только разметка текста (параграфы, шрифты и т.д.). подключенные стили удалять. Опцию стайл оставлять. Класс или ид - удалять.

Вывод материала у нас должен быть на стилях, чтобы мы могли менять форматирование материалов у себя на сайте.

2. На сайте может быть РСС, может не быть. Возможность брать данные из РСС – нужна.

3. Облако тегов http://www.life360.ru/interests.php - пример. Толщина и размер слова (тега) зависит от частоты использования этого тега. В этом ТЗ – от количества материалов в каждом тегу.

4. Комментарии к статье могут оставлять только зарегенные пользователи.

5. Наш сайт сделан на ПХП4. Движок самописанный. Вы, фактически, напишите отдельный блок, который будет иметь свою страницу и свою папку www.life360.ru/news

6. Если хотите, можете написать один скрипт для выполнения постоянных задач, а другой для разовых (если я хочу выкачать что-то откуда-то за раз и все). Это не критично для меня.

7. Грабер может быть написан на ПХП4, на Перл. Вывод результатов на ПХП4. Можете предложить свои варианты языка программирования. Посмотрим поддерживает ли их мой хост. Хост у меня колакейшн.

8. Нужна поддержка прокси и многопоточности. Получается грабер должен перебирать прокси серверы, находить рабочий и работать через него.

Ответил на все вопросы.

[Дополнение: Вт, 05 Июн 2007 13:17]

С www.psylive.ru

http://psylive.ru/main.asp?gl=1

http://psylive.ru/main.asp?gl=3

http://psylive.ru/main.asp?gl=2

http://psylive.ru/main.asp?gl=7

http://psylive.ru/main.asp?gl=16

http://psylive.ru/main.asp?gl=8

http://psylive.ru/main.asp?gl=14

http://psylive.ru/main.asp?gl=18

http://psylive.ru/main.asp?gl=23

http://psylive.ru/main.asp?gl=30

http://psylive.ru/main.asp?gl=17

http://psylive.ru/main.asp?gl=19

http://psylive.ru/main.asp?gl=20

http://psylive.ru/main.asp?gl=5

http://psylive.ru/main.asp?gl=22

http://psylive.ru/main.asp?gl=12

http://psylive.ru/main.asp?gl=27

http://psylive.ru/main.asp?gl=29

http://psylive.ru/main.asp?gl=13

http://psylive.ru/main.asp?gl=10

http://psylive.ru/main.asp?gl=28

http://psylive.ru/main.asp?gl=4

http://psylive.ru/main.asp?gl=6

www.nkozlov.ru

http://nkozlov.ru/library/s132/

http://nkozlov.ru/library/s41/

http://nkozlov.ru/library/s318/

http://nkozlov.ru/library/s42/

http://nkozlov.ru/library/psychology/

http://nkozlov.ru/library/s45/

http://nkozlov.ru/library/s221/

http://nkozlov.ru/library/s218/

http://nkozlov.ru/library/other/

http://nkozlov.ru/library/s55/

здесь еще и подразделы есть. каждый из них обозначить тегом, соответствующим названию раздела. То есть, каждый подраздел в разделе будет отдельным тегом, так как теги присваиваются отдельному "потоку". поток - это отдельная страница, откуда происходит импорт.