Робот

 Робот(сканер) пробегает  по страницам сайта(в основном всем страницам сайта ,c учётом robots.txt файла) эммитируя браузеры с различными куками ,авторизациями и пропускает страницы через парсеры. В конце результаты соответственно нуждам сохраняются (база данных, текстовый файл, каталог изображений).

Сделан с учётом паттернов(Три паттерна строителя: Браузер(создает конкретный обработчик запросов), Валидатор (создает определеённый валидатор нужных ссылок) и Дампер(Создаёт расширением класс, который знает что делать с напарсенными данными),поэтому не требует больших изменений для адаптации под определённый парсинг