Сборщик страниц сайтов сохраняющий их локально
Задача
имея ссылки на веб страницы (подобранные к примеру по конкретной тематике)
обходить их по очереди и сохранять их локально при этом сшивая по 3 и более страниц в одну длинную страницу
на входе файл с ссылками (при этом на 1 входную ссылку 3 и более сшитых страниц - тоесть по ссылки пришли взяли первую страницу потом вторую и т.д. и сшили - сохранили и пошли по второй ссылке и т.д.)
на выходе фаы с веб страницами сшитыми по несколько собранным содержимым
и файлы ссылок по которым не получилось сохранить страницы по причине недоступности сайта (ссылки) или другие ошибки
софт должен быть многопоточный и быстрый
работать под винду 7 икспишку и серверную 2008 винду как под 32 бита так и под 64 бита
нанегружать процесвсор и отптимально работать
писать лучше на C++
Главное Надо Понимать что софт должен работать корректно с большим массивом данных!
При длительном собирании и сохранении чтобы не происходило обрушение софта или переполнение памяти (что часто бывает у новичков)
Так как собирать планирую сотнями гигобайт или даже десятками терабайт
Желательно чтобы разработчик был с опытом подобного что описано выше