Сборщик страниц сайтов сохраняющий их локально

Игорь14 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
02.02.2011

Задача

имея ссылки на веб страницы (подобранные к примеру по конкретной тематике)

обходить их по очереди и сохранять их локально при этом сшивая по 3 и более страниц в одну длинную страницу

на входе файл с ссылками (при этом на 1 входную ссылку 3 и более сшитых страниц - тоесть по ссылки пришли взяли первую страницу потом вторую и т.д. и сшили - сохранили и пошли по второй ссылке и т.д.)

на выходе фаы с веб страницами сшитыми по несколько собранным содержимым

и файлы ссылок по которым не получилось сохранить страницы по причине недоступности сайта (ссылки) или другие ошибки

софт должен быть многопоточный и быстрый

работать под винду 7 икспишку и серверную 2008 винду как под 32 бита так и под 64 бита

нанегружать процесвсор и отптимально работать

писать лучше на C++

Главное Надо Понимать что софт должен работать корректно с большим массивом данных!

При длительном собирании и сохранении чтобы не происходило обрушение софта или переполнение памяти (что часто бывает у новичков)

Так как собирать планирую сотнями гигобайт или даже десятками терабайт

Желательно чтобы разработчик был с опытом подобного что описано выше

Заявки фрилансеров