Спайдер

Нужно сделать скрипт-паук, который будет проходить все страницы сайта начиная от заданной по ссылкам, которые есть на страницах, и складывать весь контент (очищенный от тегов текст страницы, расположенный между заданными тегами, например между ... ) в базу. Скрипт должен работать этапами, по заданному количеству ссылок ( то есть, например сделал 50 страниц, дальше переадресуется на скрипт.пхп?next=50). Также скрипт должен корректно работать в кроне. Языки - php или perl.

Если есть какие то готовые решения или подобные проекты - это плюс.