Поисковый паук в базе данных

 Скрипт парсинга и поиска строк на доменах и поддоменах в больших базах

данных MySql.

 Нахождение строки на страницах типа: htm, html, php, asp, jsp, js

 Поиск строки на всех страницах принадлежащих данному домену

 Поиск идет по древовидной структуре, т.е в глубину и ширину. Можно настраивать

глубину поиска.

 Возможность найти на странице новый домен и внести его в таблицу базы данных

для следующего поиска. Таким образом база данных имеет возможность

расширяться сама.

 При нахождении строки, событие фиксируется и помечается как event-' found'.

Причем событие фиксируется для всего домена целиком. Скажем, если есть домен

test.com и страницы test.com/ index1.php, test.com/ index2.php, и была найдена

строка 'test' на test.com/ index1.php, то event-'found' будет относится к test.com, а не

к странице test.com/ index1.php

 Возможность определить, когда была удалена строка на домене. Это событие

определяется как event-'deleted'..

 Поиск идет в таблицах с большим объемом данных. При тестировании

использовалось 469 007 строк.

 Не потребляет много оперативной памяти.

 Предусмотрена возможность отсылать события 'found', 'deleted' в систему CRM.

Технологии: php,MySql