Требования к Граберу.

1) Основная цель грабера собирать для объединения информацию в Интернете на определенные объекты (например, виды спорта, турниры, спортивные клубы, спортсмены и т.д. и т.п.).

2) Грабер должен запускаться:
2.1. По расписанию (т.е. иметь кнопку включения и выключения режима по расписанию).
2.2. В ручную (т.е. иметь кнопку запуска).
2.3. И главное иметь кнопку остановки процесса после любого запуска.
2.4. Грабер должен, что-то показывать, чтобы было видно, что он не перемалывает пустые страницы.

3) Грабер ищет информацию по ключевым словам:
3.1. На сайтах из заранее заданного списка сайтов, если надо, то авторизуется по логину и паролю из базы.
3.2. На сайтах полученных с поисковых запросов по ключевым словам на основных поисковиках, как русских, так и английских(очень желательно чтобы настройки поиска были на странице администратора).
3.3. Глубина поиска настраивается:
3.3.1. Полностью просматривается сайт.
3.3.2. Глубина определяется вручную.
3.3.3. Анализируется появление новой информации и если такая имеется сохранять ее в базе.

4) Грабер должен:
4.1. Отличать анонс от новости, и соответственно сохранять как анонс (чтоб вновь не сочинять), так и саму новость, с привязкой к ключевым словам.
4.2. Сохранять дату и время (если есть) самой новости.
4.3. Сохранять дату и время получения самой новости.
4.4. Сохранять URL, TITLE, Description, Keywords страницы с новостью.
4.5. Маскироваться, чтобы не определили, что это грабер и не блокировали доступ.
4.6. Все новости сохранять в единой кодировке (желательно в win).
4.7. При занесении нового объекта в базу, проверять наличие информации по данному объекту в базе.
4.8. Иметь режимы сохранения статей и анонсов или прямо в базу или в файлы (ну и соответственно перегонять их туда – сюда, просто еще не решили, как хранить информацию).

5) Сделать удобный интерфейс администратора (соответственно на нем авторизация) для настройки и функционирования грабера. 

6) Все сделать на PHP и MySQL.

7) Надо учесть, как различать однофамильцев и одноименные объекты (пример футбольный клуб «Москва» и город Москва.). И так на всякий случай, чтобы Путина с «Путинкой» не путать (корень ведь один ;). 

8) Максимально откомментировать и хорошо оформить код.

9) Проект будет начинаться, и набирать первоначальную базу на локальном компьютере под Денвером (PHP 5.1.2, MySQL 4.1.16), поэтому через некоторое время может понадобиться помощь в переносе грабера на хост, но это уже после всех расчетов, просто отложенная услуга фрилансера.

10) Все дополнения и уточнения будут приветствоваться.

Гость caplen

Нужен грабер