Скорость парсинга не мение 100К в час(многопоточность), защита от бана поисковиков(прокси) Должен уметь вытягивать все имеющиеся в в базе урлы (пример запроса inurl:"/bbs.cgi" в базе 368 000 документов-надо вытащить все урлы и записать ...