Настроить crawler на Drupal сайты

Требования к работе crawler'a

* Стартовать скрипт должен в 1:00 ночи

* Начинать просмотр сайтов со стартового, который указывается в настройках БД

* Все домены проверять на .fr. Если не .fr, то проверить IP на принадлежность Франции (geo-ip service)

* Если сервер Франция, то продолжаем проверять его по следующим критериям (Настройка страны должна быть доступна в конфигурации)

* Проверяем несколько контрольных точек Drupal:

o Пользуем скрипт: http://www.lullabot.com/articles/is-site-running-drupal

o Проверяем наличие пути /user

o Путь /taxnomy/term

o Проверяем наличие в корне файла CHANGELOG.txt

Пишем в БД все сайты на Drupal

* Для каждого Drupal сайта пишем инфо в БД

* Следующие данные должны быть записаны в БД

o URL

o Дата индексации

o Вся доступная по whois информация

o Версия Drupal, если доступно (CHANGELOG.txt)

o Установленные модули, если доступно (предложите пути поиска)

o Время загрузки главной страницы

o Количество линков в google

Примечание

* Не забываем, что с другой стороны, основной сайт может быть на Druapl, а поддомены нет