WebCrawler - веб-комбайн

Одна из программ-монстров, предназначение которой мне до конца так и не понятно :)

Программа умеет скачивать сайты используя АПИ Offline Explorer, дальше идет обработка скаченных страниц, смена доменов, надписей и пр. пр. пр., фактически комбайн для копирования сайта.

Могу писать про нее очень долго и мучительно, я лучше покажу changelog:

Требования

=================

- Windows 2000 или выше (Для Win2K вам необходимо иметь установленную библиотеку GDI+)

- 64 Mb ОЗУ

- 8 Mb Video

- Keyboard

- Mouse, touchpoint device

О разработчике

=================

MMM_Corp, [email protected] (Инкогнито Николай)

Delphi 2010 + DevExpress + + EurekaLog

История версий

=================

1.2.0.944 [01.09.2010]

* визуальный баг в 5.1

1.2.0.943 [20.08.2010]

* фильтр 5.1

1.2.0.942

* футер действий по середине

* переход на новую версию визуальных компонентов

* вроде поправил фильр главной страницы

1.2.0.941

* вроде поправил мистическую багу

1.2.0.936

* поддержка большых проектов

1.2.0.933

* главная страница

1.2.0.932

- убрал лишние кнопка транслитов в настройках

- убрал лишнюю закладку с настройки обработки проектов

1.2.0.931

* немного изменил панель "ошибки обработки" (подвести мишку к панельке, закрептьь можно кнопкой что тыкал)

+ пересчет размера папки

1.2.0.930

* поправлен фильтр главной страници

1.2.0.929

* исправлени мелкые баги в фильтре главной страници

1.2.0.928

* исправлен мелкий баг при удалении мусора

* исправленна потенциальная утечка памяти, при фильтре главной страници

* главная страница 5.3, 5.4

1.2.0.927

* главная страница 5.1, 5.2

1.2.0.926

* замена запрещщених символов

1.2.0.925

* замена запрещенних расширений

1.2.0.924

* замена запрещенных расширений

1.2.0.923

* надписи на замену запрещенных расширений

- убрана ненужная колонка

+ фильтр 3 теперь обрабатывает запрещенные расширения, убирает расширение указанное в запрещенных расширениях в расширении файла вместе с точкой (файл становится без расширения)

+ с переименованием файлов справляется и фильтр также називающейся

+ переименование файлов перемещон в конец фильтров

1.2.0.922

+ фильтр запрещенные расширения (работа продолженна)

+ таблица настройки тегов

+ теперь и папки уже обрабатываются

+ реализованна обработка кода

* исправлен механизм запуска фильтров на более безопасний

* оптимизирован поиск файлов при фильтре запрещених расширений

1.2.0.921

+ фильтр запрещенные расширения (операции над файлами с '@' и ' ')

1.2.0.920

+ фильтр приведения в нижний регистр файлов и папок

* теперь все настройки приводятся при обработке в нижний регистр (*nix-хак)

1.2.0.919

* более коректная проверка параметров при переносе файлов/папок

+ переименование файлов (указывается без маски, только расширение, напр. "txt", "doc" и т.д.), к сожалению работа через маску не так то просто сделать(

1.2.0.918

* обработка кода, теперрь обрабативает даже если нет ниодного файла в проекте

+ возможность вибирать фильтри обработки кода

+ переименование файлов по маске (пока не работает)

* код обработки переписан на более безопасный и устойчивый

* исправленна потенциальная проблема падения программы при закритии окна настройки обработки кода и программы

1.2.0.917

+ обработка кода (удаление мусора, транслит имен файлов и папок, при том что папки траслитятся только тот кусок что идет внутрь папки проекта)

* мелкие правки при запуске обработки

+ настройка мусора (+поддерживает маски)

+ настройка транслитерации (есть возможность добавлять в конец таблици записи, думаю для одного "_25" можно такое и сделать)

1.2.0.915

* действие к помеченным

+ обработка кода, реализовано транслитерация имен файлов

+ кнопки редактирования в настройках файлов транслитерации

1.2.0.914

* опять правим переделки

1.2.0.913

* просмотр "О программе" в Windows 7

* обработка файлов и папок, заменил длинние надписи на иконки (а то много места занимало)

+ опциональное удаление записи при успешном переносе

- удаление файла Descr.wd3 при переносе, перенесу его удаление на обработку кода

* поле обработки кода перенесено с отдельного поля в поле действие

* поправленни оптимизацыя, футери, группы, установка действия, загрузка списка, пометка списка, нумерацыя и т.д. (ненавижу переделки)

* отрисовка группы

1.2.0.912

* специфическая утечка памяти при закритии программы

* оптимизирована обработка файлов и папок

* удаление и перенос файлов и папок при обработке

* ошибка при загрузке и вигрузке скинов

+ хот-комбинации для оптимизации, обработке, свернуть, развернуть, просмотр папки

* теперь коректно удаляется мусорные файлы descr.wd3 (любой регистр названия), при переносе удаляется

* перенос пустых проектов

1.2.0.911

* произведен переезд на новую версию бибилиотеки компонентов, пришлось чинить некоторые вещи (

* исправленна утечка памяти при работе скинов

* слои новой версии (пришлось повозится)

1.2.0.910

+ реализован перенос в обработке файлов

1.2.0.909

* оптимизировано очищение списка проектов

+ пункт главного меню "О программе"

* баг неправильной пометки на уделание

* баг неубываемого окна оптимизации проектов при востановлении с трея

+ оптимизировна отрисовка таблицы при обработке проектов (мельканий теперь меньше, и обрабатывает заметно быстрее)

* зависание при обработке проектов

* отмена обработки проектов теперь дорабатывает текущый проект только потом останавливается

+ нумерацыя строк, експериментальная (ручная, чтоб не тормозила программа), а то будет тормозить на каждый пук

+ кнопки свертывания и развёртивания груп (для полного щастья)

1.2.0.908

* правки мелких багов

* аварийный выход с программы в настройках

* отмена при обработке проектов (експериментальный вариант)

1.2.0.907

* попытка исправить не верное выделение при згарузке списка

1.2.0.906

* исправленны баги прорисовок

1.2.0.905

* операция с файлами, всяческые пометки, подстветки и т.д.

* оптимизацыя проектов при свернутой программе в трей

* оптимизировал вывод данных при оптимизации

+ "будут обработаны", запланированны проекти на обработку

+ "ждут обработки", заблокированные записи, те над которым трудится обработка (может и лышнее будет, пока оставлю)

1.2.0.904

* футер действий

* удаление проектов

* немного оптимизированн код обработки файлов

1.2.0.900

* завершение потоков теперь происходит коректно при выходе

1.2.0.899

* оптимизацыя проектов

* размер проекта при ошибках удаления

+ реализовано удаление проектов

+ изменён формат хранения данных в БД

! остается баг с еперрисовкой футера действий... (как же он меня зае...)

! остается неясно как перерисововать грид при все розвернутом списке групп...

* создание/уничтожение потоков обработки проектов

* оптимизация проектов, баг с завершением потока

+ поле и панель для хранения логов обработки проектов (для ошибок покачто, пригодится)

+ наконецто реализованни автоблокировки при обработке проектов

+ поправил данные данные по группе, добавив виртуальное поле в таблицу сразу для формирования выда группы

+ роскраска действия

* если нет вложенной папки то пустые квадратные скобки не выводяься

* обновление системы безопасности

* видимость в статус-баре 1 и 3 ячейки (фаворит и интренет мониторинг)

* поле "действие" вместо выпадающего списка обзавелось радио-группой

+ настройка подстветки размера

+ просмотр URL (замена поля просмотр)

+ просмотр папки (замена поля просмотр)

+ поле "Статус действия", идея в том чтобы в 1 поле показывать прогрес выполнения и значки статуса

* название управление -> метка в загрузке УРЛ (что более логично)

! № в работе с файлами и папками (пока не понятно как побороть глюк, откладываю на потом)

+ кнопка удаления подстветки

* посдсветка УРЛ-ов в списке

+ ИМХО, мусорную фичу под список загружаемого УРЛ

1.2.0.898

+ обработка файлов, просмотр списка УРЛ

+ обработка файлов, выбор действия при загрузке УРЛ

+ раскраски всякие

+ статус действий в виже 3 пар чисел

+ поле для выбора папки для переноса

- легенду (она нам не понадобится, только место занимает)

* нет необходимости в лишных полях, напр. действие выделил в 1 поле, там же картинка есть и можно сразу менять его значение также

можно клавишами, что ещё быстрее

* переход на более безопасный StringList -> ThreadStringList (может незначительно снизить скорость работы программы)

* завершение потоков при изменении параметров и завершении работы программы, мелкая ошыбка

+ дефолтные значения в настройках

- отключил проверку на существование папки в настройках

* небольшая ошыбка при старте/стопе потока

- лишнаяя картинка в настройках

* менее аварийный но более коретктный выход с программы через "настройки" и команду трея

1.2.0.897

* исправленна безопасность распределения ресурсов потоков

* завершение потоков при изменении параметров и завершении работы программы

1.2.0.896

* исправленны недочёты в работе потоков

* для наглядности отключенны элементы настроек чтобы было выдно что уже работает а что не реализовано

1.2.0.854

! мониторинг интернет-подключения и папки "Избранное" ещё отлажывается

* исправленны незначительные багы интерфейса и опечатки

* при оптимизации папки теперь проверяется по полю "URL обрабативаемого проекта" на уникальность внесения данных

* оптимизирован механизм применения новых настроек

+ программа "похудела" на 520 Кб за счёт предидущего пукнта

* в срочном порядке была произведена миграцыя на другые средства хранения данных в связы с предидущей ошыбкой

! утечка памяти при закритие пула на БД, при закритии программы (баг не выяснен, ведутся переговоры с разработчиком бибилиотеки)

* главное меню изза проблем с скиновкой возвращено на старый лад, ждем новых версий скиновки

- небольшая чистка ядра от мусора и фейковых функцый

* утечка памяти при закритии программы

* работа с настройками полностью переделана

* активацыя окна загрузок URL

* исправленно главное меню, теперь оно дейстительно главное меню (тиц. F10, Ctrl+F6)

* совместимость валиадаторов и системы отлова багов

* уменшен вес программы, а также занимаемой ею памяты за счёт выноса скинов в отдельную DLL

+ запланированно на будущые сборки - выбор роскрасок для стилей (в далеких планах)

* в очередной раз переделан механизм работы с потоками

* исправлен интерфейс в настройках

* проведенна чистка интерфейса для более быстрой работы

* устраненно неправильное распределение памяти при загрузке системы безопасности

* скины теперь жывут автономно, подключаютя с DLL-ки (если конечно есть DLL-ка)

+ добавленно множество новых настроек: интерфейс, мониторингы, интервал мониторингов, приоритеты потоков

* иник русифыкации "Дев" встроен в екзешнык

1.2.0.697

+ отправка ельф-файла+скриншот

- скиновку, пожывем пока без нее, программа заметно быстрее начала работать

* мелкые опечатки

+ в связы с нестабильной работой системных функцый windows, добавленна настройка папка "Избранное"

1.1.0.638

* коректное создание/удаление потоков

+ критическые секции для большей безопасности потокового кода

* значительно ускоренно завершение программы (експериментально)

* ускоренн запуск программы за счёт позднего запуска мониторинга папки "Избранное"

* мониторинг папки "Избранное" переписан под потобезопасный лад, в отдельном потоке теперь

* исправленны многочисленные потенцыальные ошибки при потокобезопасной оптимизации папки

* при добавлении данных в таблицу, после оптимизации папки, проверяется на уникальность данные (по полному пути к проекту)

+ вложенная папка теперь показывается в выде полного пути а в формате "[МЕСЯЦ][Вложенная папка][Объединены]"

* потокобезопасное добавление данных в БД при оптимизации папки, медленее но надежнее

* оптимизировано оптимизация папки

* полностью переделан механизм создания и работы потока при оптимизации папки

* улучшено создание папок при оптимизации папок

+ Тб, Пб-байты включены в вывод обемов ))), но дальше гигабайт не заходить лучше (не проверялось)

+ улучшен вывод ошибок при оптимизации папок

1.1.0.562

* создания окна отображения прогресса

+ заполнение таблицы

+ очистка списка

+ групперы для вложеных папок (а также вес папок, и к-во элементов в каждой группе) и суммированный результат

+ красный шрифт при обеме="0 байт"

* блокирование таблицы при добавление записей

* создние окна оптимизации каталогов теперь более коректное

1.1.0.530

* оптимизация папок

* удаление папки при их оптимизации

1.1.0.440

* оптимизирован механизм оптимизации папки

+ более коректноые сообщения ошибок при оптимизации папок

* исправленна обёртка удаления папок со всем содержжимым

* оптимизация папок

+ дерево каталогов в оптимизацыю папок

+ унифицыровани надписи типов состадаваэмых папок

* выбор папки/файла после перехода

* переход на новую версию компонентов

1.1.0.242

* однопроходное оптимизирование папки

* оптимизировано создание окна оптимизации папки

* оптимизировать в один момент времени можно только одну папку, поскольку дисковые и процесорные ресурсы задейстованы по максимуму

- окно оптимизации не закривается, если в нем есть ошибки

+ логирование ошибок оптимизации

+ оптимизацыя папки

* механизм поиска файлов, доработан и оптимизирован

+ оптимизацыя папки выделена в отдельный поток )

+ полупрозрачность для оптимизации папки

+ значительное уменьшение занимаемой памяти при сворачивании в трей

1.1.0.0

+ начата работа над модулем работи с файлами и папками

1.0.0.1106

* фильтрацыя и надписи при обединеии ячеек

* загрузка урлов, поправлен баг с импортом и фильтром

* баг, если рабочая папка корень диска, убран лишный слеш

+ диалог настроек переделан, добавлены проверки заполнения полей

1.0.0.1068

* создание папок, теперь генерируется их имени архива

* очистка содежимого папки избранных тепер удаляет и папки

! доступность фильтра если не было загруженно данных пока не работает, буду копать позже

* названия месяцев теперь идут с большй букви, а не как раньше все большые

+ усилена проверка целестности программы

* сворачивание/разворачивание с трея

* набор данных для создания папок и ярлыков тепер учитывает фильтрацыю

+ доступность кнопок и элементов в загрузке URL

+ папка избранное автоматически сканируется раз в 5 секунд

1.0.0.992

* название создаваемой папки

* более рационально размещёны список созданных и не созданных папок

+ возвращенна кнопка "очистить список сайтов"

* орфоошыбки

* оптимизирована прорисовка при создлании папок

* номер по порядку

+ поле "статус" теперь видно всегда не зависимо от выбранного фильтра

* название сгенерированого ярлыка обзавелось префиксом типа

1.0.0.948

* исправлена вложенность папок при распаковке

+ версия в главном окне программы

+ управление

+ ручной импорт и создание папок

+ показ статуса создания папки в таблице

1.0.0.884

* распаковка

* обёртка диалогов выбрать файл/папку

+ обёртка статусных сообщений

* прозрачное сохранение для настроек

* ошибки распаковке при загрузке УРЛов

+ главная папка создается, статус создания отображается в окне загрузок УРЛов

* исправлены ошибки в окне настроек

1.0.0.600

+ переделан механизм профилей (альфа)

+ нашол в интернете свалку иконок, теперь то можно розгулятся)

+ работает Удалить содержимое папки "Избранное", Загрузка адресов

* поправлен бар главной формы (аля меню)

* бари теперь действительно статичные

* к-во ярлыков, и его внутренний список папки "Избранное" вынесен в статус бар, можно даблкликом обновлять, оптимизировано

1.0.0.579

+ обёртка работы над архивами (Архивирование / разархивирования: 7z, ZIP, GZIP, BZIP2 и TAR

Только разархивирование: ARJ, CAB, CHM, CPIO, DEB, DMG, HFS, ISO, LZH, LZMA, MSI, NSIS, RAR, RPM, UDF, WIM, XAR и Z.)

можно апдейтить в будущем, при выпуске новых версий, СПАСИБО сообществу 7-zip за прекрасную прогу)

+ обертка для всех диалогов вида выбрать файл/папку, монолитное обращение

* оптимизировано скан папки "Избранное"

* мгновенное переключение окон

* движок для работы с внутренней БД серйозно доработан, быстродействие поднялось больше чем в 3 раза!!!)

+ парсер месяцев

+ "Настройки" полностью работают, кроме шаблонов, здесь ещё надо ТЗ покурить хорошенько

+ включен мощный режим отладки и отлова багов

+ трей, (сворачивание при закрытии оставил на потом)

+ автозагрузка

1.0.0.0

первая версия :)