Простенькая программа-паук
Сергей17 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
03.07.2011
Программа-паук проходит по всем ссылкам на сайте, сохраняя HTML-текст страниц.
На входе программа получает список сайтов, по которым надо пройтись.
Настройка:
1) Макс. уровень вложености.
2) Сохранять, если размер текста больше ... символов.
3) Макс. к-во страниц.
4) Количество потоков.
5) Список проксей
Многопоточность.
Переходит по HTTP-заголовку Location: ...
Дальше переходит к следующему сайту.
Прошу указывайте цену и срок. Пишите сюда (заявки скрыты) или в личку. Просьба в аську и на мыло не писать, если надо, я сам напишу.
Забыл еще сказать про прокси. IMG, JS, CSS качать не надо.