Написать скрипт спайдер который индексрует сайт

Здравствуйте. Надо написать скрипт спайтера который может гулять по сайту (как гугл и яндексе). Спайдер должен учитывать что прописано в robots.txt и если там запрещена какая то дериктория то по ней скрипт ходить не должен.