Тематический поисковый робот

Под проект необходимо написать робота (crawler), для парсинга внешних тематических ресурсов. Робот должен уметь определять вес документа, тематику и т.п.... Более детальное ТЗ вышлю заинтересовавшимся по скайпу.