WebCrawler - веб-комбайн

Одна из программ-монстров, предназначение которой мне до конца так и не понятно :) Программа умеет скачивать сайты используя АПИ Offline Explorer, дальше идет обработка скаченных страниц, смена доменов, надписей и пр. пр. пр., фактически комбайн для копирования сайта. Могу писать про нее очень долго и мучительно, я лучше покажу changelog: Требования ================= - Windows 2000 или выше (Для Win2K вам необходимо иметь установленную библиотеку GDI+) - 64 Mb ОЗУ - 8 Mb Video - Keyboard - Mouse, touchpoint device О разработчике ================= MMM_Corp, [email protected] (Инкогнито Николай) Delphi 2010 + DevExpress + + EurekaLog История версий ================= 1.2.0.944 [01.09.2010] * визуальный баг в 5.1 1.2.0.943 [20.08.2010] * фильтр 5.1 1.2.0.942 * футер действий по середине * переход на новую версию визуальных компонентов * вроде поправил фильр главной страницы 1.2.0.941 * вроде поправил мистическую багу 1.2.0.936 * поддержка большых проектов 1.2.0.933 * главная страница 1.2.0.932 - убрал лишние кнопка транслитов в настройках - убрал лишнюю закладку с настройки обработки проектов 1.2.0.931 * немного изменил панель "ошибки обработки" (подвести мишку к панельке, закрептьь можно кнопкой что тыкал) + пересчет размера папки 1.2.0.930 * поправлен фильтр главной страници 1.2.0.929 * исправлени мелкые баги в фильтре главной страници 1.2.0.928 * исправлен мелкий баг при удалении мусора * исправленна потенциальная утечка памяти, при фильтре главной страници * главная страница 5.3, 5.4 1.2.0.927 * главная страница 5.1, 5.2 1.2.0.926 * замена запрещщених символов 1.2.0.925 * замена запрещенних расширений 1.2.0.924 * замена запрещенных расширений 1.2.0.923 * надписи на замену запрещенных расширений - убрана ненужная колонка + фильтр 3 теперь обрабатывает запрещенные расширения, убирает расширение указанное в запрещенных расширениях в расширении файла вместе с точкой (файл становится без расширения) + с переименованием файлов справляется и фильтр также називающейся + переименование файлов перемещон в конец фильтров 1.2.0.922 + фильтр запрещенные расширения (работа продолженна) + таблица настройки тегов + теперь и папки уже обрабатываются + реализованна обработка кода * исправлен механизм запуска фильтров на более безопасний * оптимизирован поиск файлов при фильтре запрещених расширений 1.2.0.921 + фильтр запрещенные расширения (операции над файлами с '@' и ' ') 1.2.0.920 + фильтр приведения в нижний регистр файлов и папок * теперь все настройки приводятся при обработке в нижний регистр (*nix-хак) 1.2.0.919 * более коректная проверка параметров при переносе файлов/папок + переименование файлов (указывается без маски, только расширение, напр. "txt", "doc" и т.д.), к сожалению работа через маску не так то просто сделать( 1.2.0.918 * обработка кода, теперрь обрабативает даже если нет ниодного файла в проекте + возможность вибирать фильтри обработки кода + переименование файлов по маске (пока не работает) * код обработки переписан на более безопасный и устойчивый * исправленна потенциальная проблема падения программы при закритии окна настройки обработки кода и программы 1.2.0.917 + обработка кода (удаление мусора, транслит имен файлов и папок, при том что папки траслитятся только тот кусок что идет внутрь папки проекта) * мелкие правки при запуске обработки + настройка мусора (+поддерживает маски) + настройка транслитерации (есть возможность добавлять в конец таблици записи, думаю для одного "_25" можно такое и сделать) 1.2.0.915 * действие к помеченным + обработка кода, реализовано транслитерация имен файлов + кнопки редактирования в настройках файлов транслитерации 1.2.0.914 * опять правим переделки 1.2.0.913 * просмотр "О программе" в Windows 7 * обработка файлов и папок, заменил длинние надписи на иконки (а то много места занимало) + опциональное удаление записи при успешном переносе - удаление файла Descr.wd3 при переносе, перенесу его удаление на обработку кода * поле обработки кода перенесено с отдельного поля в поле действие * поправленни оптимизацыя, футери, группы, установка действия, загрузка списка, пометка списка, нумерацыя и т.д. (ненавижу переделки) * отрисовка группы 1.2.0.912 * специфическая утечка памяти при закритии программы * оптимизирована обработка файлов и папок * удаление и перенос файлов и папок при обработке * ошибка при загрузке и вигрузке скинов + хот-комбинации для оптимизации, обработке, свернуть, развернуть, просмотр папки * теперь коректно удаляется мусорные файлы descr.wd3 (любой регистр названия), при переносе удаляется * перенос пустых проектов 1.2.0.911 * произведен переезд на новую версию бибилиотеки компонентов, пришлось чинить некоторые вещи ( * исправленна утечка памяти при работе скинов * слои новой версии (пришлось повозится) 1.2.0.910 + реализован перенос в обработке файлов 1.2.0.909 * оптимизировано очищение списка проектов + пункт главного меню "О программе" * баг неправильной пометки на уделание * баг неубываемого окна оптимизации проектов при востановлении с трея + оптимизировна отрисовка таблицы при обработке проектов (мельканий теперь меньше, и обрабатывает заметно быстрее) * зависание при обработке проектов * отмена обработки проектов теперь дорабатывает текущый проект только потом останавливается + нумерацыя строк, експериментальная (ручная, чтоб не тормозила программа), а то будет тормозить на каждый пук + кнопки свертывания и развёртивания груп (для полного щастья) 1.2.0.908 * правки мелких багов * аварийный выход с программы в настройках * отмена при обработке проектов (експериментальный вариант) 1.2.0.907 * попытка исправить не верное выделение при згарузке списка 1.2.0.906 * исправленны баги прорисовок 1.2.0.905 * операция с файлами, всяческые пометки, подстветки и т.д. * оптимизацыя проектов при свернутой программе в трей * оптимизировал вывод данных при оптимизации + "будут обработаны", запланированны проекти на обработку + "ждут обработки", заблокированные записи, те над которым трудится обработка (может и лышнее будет, пока оставлю) 1.2.0.904 * футер действий * удаление проектов * немного оптимизированн код обработки файлов 1.2.0.900 * завершение потоков теперь происходит коректно при выходе 1.2.0.899 * оптимизацыя проектов * размер проекта при ошибках удаления + реализовано удаление проектов + изменён формат хранения данных в БД ! остается баг с еперрисовкой футера действий... (как же он меня зае...) ! остается неясно как перерисововать грид при все розвернутом списке групп... * создание/уничтожение потоков обработки проектов * оптимизация проектов, баг с завершением потока + поле и панель для хранения логов обработки проектов (для ошибок покачто, пригодится) + наконецто реализованни автоблокировки при обработке проектов + поправил данные данные по группе, добавив виртуальное поле в таблицу сразу для формирования выда группы + роскраска действия * если нет вложенной папки то пустые квадратные скобки не выводяься * обновление системы безопасности * видимость в статус-баре 1 и 3 ячейки (фаворит и интренет мониторинг) * поле "действие" вместо выпадающего списка обзавелось радио-группой + настройка подстветки размера + просмотр URL (замена поля просмотр) + просмотр папки (замена поля просмотр) + поле "Статус действия", идея в том чтобы в 1 поле показывать прогрес выполнения и значки статуса * название управление -> метка в загрузке УРЛ (что более логично) ! № в работе с файлами и папками (пока не понятно как побороть глюк, откладываю на потом) + кнопка удаления подстветки * посдсветка УРЛ-ов в списке + ИМХО, мусорную фичу под список загружаемого УРЛ 1.2.0.898 + обработка файлов, просмотр списка УРЛ + обработка файлов, выбор действия при загрузке УРЛ + раскраски всякие + статус действий в виже 3 пар чисел + поле для выбора папки для переноса - легенду (она нам не понадобится, только место занимает) * нет необходимости в лишных полях, напр. действие выделил в 1 поле, там же картинка есть и можно сразу менять его значение также можно клавишами, что ещё быстрее * переход на более безопасный StringList -> ThreadStringList (может незначительно снизить скорость работы программы) * завершение потоков при изменении параметров и завершении работы программы, мелкая ошыбка + дефолтные значения в настройках - отключил проверку на существование папки в настройках * небольшая ошыбка при старте/стопе потока - лишнаяя картинка в настройках * менее аварийный но более коретктный выход с программы через "настройки" и команду трея 1.2.0.897 * исправленна безопасность распределения ресурсов потоков * завершение потоков при изменении параметров и завершении работы программы 1.2.0.896 * исправленны недочёты в работе потоков * для наглядности отключенны элементы настроек чтобы было выдно что уже работает а что не реализовано 1.2.0.854 ! мониторинг интернет-подключения и папки "Избранное" ещё отлажывается * исправленны незначительные багы интерфейса и опечатки * при оптимизации папки теперь проверяется по полю "URL обрабативаемого проекта" на уникальность внесения данных * оптимизирован механизм применения новых настроек + программа "похудела" на 520 Кб за счёт предидущего пукнта * в срочном порядке была произведена миграцыя на другые средства хранения данных в связы с предидущей ошыбкой ! утечка памяти при закритие пула на БД, при закритии программы (баг не выяснен, ведутся переговоры с разработчиком бибилиотеки) * главное меню изза проблем с скиновкой возвращено на старый лад, ждем новых версий скиновки - небольшая чистка ядра от мусора и фейковых функцый * утечка памяти при закритии программы * работа с настройками полностью переделана * активацыя окна загрузок URL * исправленно главное меню, теперь оно дейстительно главное меню (тиц. F10, Ctrl+F6) * совместимость валиадаторов и системы отлова багов * уменшен вес программы, а также занимаемой ею памяты за счёт выноса скинов в отдельную DLL + запланированно на будущые сборки - выбор роскрасок для стилей (в далеких планах) * в очередной раз переделан механизм работы с потоками * исправлен интерфейс в настройках * проведенна чистка интерфейса для более быстрой работы * устраненно неправильное распределение памяти при загрузке системы безопасности * скины теперь жывут автономно, подключаютя с DLL-ки (если конечно есть DLL-ка) + добавленно множество новых настроек: интерфейс, мониторингы, интервал мониторингов, приоритеты потоков * иник русифыкации "Дев" встроен в екзешнык 1.2.0.697 + отправка ельф-файла+скриншот - скиновку, пожывем пока без нее, программа заметно быстрее начала работать * мелкые опечатки + в связы с нестабильной работой системных функцый windows, добавленна настройка папка "Избранное" 1.1.0.638 * коректное создание/удаление потоков + критическые секции для большей безопасности потокового кода * значительно ускоренно завершение программы (експериментально) * ускоренн запуск программы за счёт позднего запуска мониторинга папки "Избранное" * мониторинг папки "Избранное" переписан под потобезопасный лад, в отдельном потоке теперь * исправленны многочисленные потенцыальные ошибки при потокобезопасной оптимизации папки * при добавлении данных в таблицу, после оптимизации папки, проверяется на уникальность данные (по полному пути к проекту) + вложенная папка теперь показывается в выде полного пути а в формате "[МЕСЯЦ][Вложенная папка][Объединены]" * потокобезопасное добавление данных в БД при оптимизации папки, медленее но надежнее * оптимизировано оптимизация папки * полностью переделан механизм создания и работы потока при оптимизации папки * улучшено создание папок при оптимизации папок + Тб, Пб-байты включены в вывод обемов ))), но дальше гигабайт не заходить лучше (не проверялось) + улучшен вывод ошибок при оптимизации папок 1.1.0.562 * создания окна отображения прогресса + заполнение таблицы + очистка списка + групперы для вложеных папок (а также вес папок, и к-во элементов в каждой группе) и суммированный результат + красный шрифт при обеме="0 байт" * блокирование таблицы при добавление записей * создние окна оптимизации каталогов теперь более коректное 1.1.0.530 * оптимизация папок * удаление папки при их оптимизации 1.1.0.440 * оптимизирован механизм оптимизации папки + более коректноые сообщения ошибок при оптимизации папок * исправленна обёртка удаления папок со всем содержжимым * оптимизация папок + дерево каталогов в оптимизацыю папок + унифицыровани надписи типов состадаваэмых папок * выбор папки/файла после перехода * переход на новую версию компонентов 1.1.0.242 * однопроходное оптимизирование папки * оптимизировано создание окна оптимизации папки * оптимизировать в один момент времени можно только одну папку, поскольку дисковые и процесорные ресурсы задейстованы по максимуму - окно оптимизации не закривается, если в нем есть ошибки + логирование ошибок оптимизации + оптимизацыя папки * механизм поиска файлов, доработан и оптимизирован + оптимизацыя папки выделена в отдельный поток ) + полупрозрачность для оптимизации папки + значительное уменьшение занимаемой памяти при сворачивании в трей 1.1.0.0 + начата работа над модулем работи с файлами и папками 1.0.0.1106 * фильтрацыя и надписи при обединеии ячеек * загрузка урлов, поправлен баг с импортом и фильтром * баг, если рабочая папка корень диска, убран лишный слеш + диалог настроек переделан, добавлены проверки заполнения полей 1.0.0.1068 * создание папок, теперь генерируется их имени архива * очистка содежимого папки избранных тепер удаляет и папки ! доступность фильтра если не было загруженно данных пока не работает, буду копать позже * названия месяцев теперь идут с большй букви, а не как раньше все большые + усилена проверка целестности программы * сворачивание/разворачивание с трея * набор данных для создания папок и ярлыков тепер учитывает фильтрацыю + доступность кнопок и элементов в загрузке URL + папка избранное автоматически сканируется раз в 5 секунд 1.0.0.992 * название создаваемой папки * более рационально размещёны список созданных и не созданных папок + возвращенна кнопка "очистить список сайтов" * орфоошыбки * оптимизирована прорисовка при создлании папок * номер по порядку + поле "статус" теперь видно всегда не зависимо от выбранного фильтра * название сгенерированого ярлыка обзавелось префиксом типа 1.0.0.948 * исправлена вложенность папок при распаковке + версия в главном окне программы + управление + ручной импорт и создание папок + показ статуса создания папки в таблице 1.0.0.884 * распаковка * обёртка диалогов выбрать файл/папку + обёртка статусных сообщений * прозрачное сохранение для настроек * ошибки распаковке при загрузке УРЛов + главная папка создается, статус создания отображается в окне загрузок УРЛов * исправлены ошибки в окне настроек 1.0.0.600 + переделан механизм профилей (альфа) + нашол в интернете свалку иконок, теперь то можно розгулятся) + работает Удалить содержимое папки "Избранное", Загрузка адресов * поправлен бар главной формы (аля меню) * бари теперь действительно статичные * к-во ярлыков, и его внутренний список папки "Избранное" вынесен в статус бар, можно даблкликом обновлять, оптимизировано 1.0.0.579 + обёртка работы над архивами (Архивирование / разархивирования: 7z, ZIP, GZIP, BZIP2 и TAR Только разархивирование: ARJ, CAB, CHM, CPIO, DEB, DMG, HFS, ISO, LZH, LZMA, MSI, NSIS, RAR, RPM, UDF, WIM, XAR и Z.) можно апдейтить в будущем, при выпуске новых версий, СПАСИБО сообществу 7-zip за прекрасную прогу) + обертка для всех диалогов вида выбрать файл/папку, монолитное обращение * оптимизировано скан папки "Избранное" * мгновенное переключение окон * движок для работы с внутренней БД серйозно доработан, быстродействие поднялось больше чем в 3 раза!!!) + парсер месяцев + "Настройки" полностью работают, кроме шаблонов, здесь ещё надо ТЗ покурить хорошенько + включен мощный режим отладки и отлова багов + трей, (сворачивание при закрытии оставил на потом) + автозагрузка 1.0.0.0 первая версия :)