Простенькая программа-паук

Сергей17 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
03.07.2011

Программа-паук проходит по всем ссылкам на сайте, сохраняя HTML-текст страниц.

На входе программа получает список сайтов, по которым надо пройтись.

Настройка:

1) Макс. уровень вложености.

2) Сохранять, если размер текста больше ... символов.

3) Макс. к-во страниц.

4) Количество потоков.

5) Список проксей

Многопоточность.

Переходит по HTTP-заголовку Location: ...

Дальше переходит к следующему сайту.

Прошу указывайте цену и срок. Пишите сюда (заявки скрыты) или в личку. Просьба в аську и на мыло не писать, если надо, я сам напишу.

Забыл еще сказать про прокси. IMG, JS, CSS качать не надо.

Заявки фрилансеров