Разработка внутренней части сервиса

Требуется дописание сервиса, концепция, которого ручные прогоны по базам трастовых сайтов на основе движка фриланса.

Один из пунктов.

Необходимо написание, краулера(бота) проверяющего сайты на отсутствие запрещающих индекс тегов nofollow, noindex и проверяющего наличие определенного ключа или ссылки.

Пишите в ICQ 101581девять и я вышлю подробное тз.