Язык реализации - C#
1. Универсальный класс для использование прокси.
С заданного УРЛа скачивает подготовленный прокси-лист рабочих проксей (ип:порт;тип\r\n)
Обновление листа - каждые *-** минут (обновление происходит при использовании функции класса для запроса какой-либо страницы)
Основная функция класса - Get - обеспечивает загрузку заданной страницы через один из проксей
Прокси имеют свойство дохнуть в любую секунду, а также тоже могут быть забанены, поэтому необходим контроль:
- успешность самого конекта через прокси с заданным таймаутом (таймаут - член класса, задаётся при инициализации)
- успешность получения именно нужной страницы:
-- проверяется заголовок ответа сервера (не 200 - брак)
-- в функцию (опционально) - передаётся либо 1, либо 2 массива: массив строк, которые должны быть найдены на странице в случае корректной загрузки ("
Аргументы - УРЛ, массив строк 1(опционально), массив строк 2(опционально)
Если по одной из причин попытка получить страницу не удалась - текущему проксику плюсуется параметр количества ошибок, пробуется через другой прокси.
После * ошибок, прокси идёт в локальный блеклист. Число попыток, количество ошибок и _максимально возможное время, которое прокси может быть в блек-листе_ задаётся при инициализации.
Ошибки на уровне прокси (не законектился, не успел закачать страницу, неправильные заголовки ответа) и ошибки на уровне сайта (на основе переданных массивов строк, если они используются) - считаются отдельно. И для них разные лимиты.
2. Парсер архива Лента.ру
Разобрать тут нужно всего пару страниц, так что это просто для элементарного теста многопоточной работы через класс проксей и первого пункта.
Заходим первый день в архиве каждого раздела (http://lenta.ru/sport/2005/02/17/) - парсим список УРЛов на новости в файлик, переходим на следующуюю дату и так для каждого раздела пока не уйдём на страницу "время парсинга - 1день". Информация о текущей дате для парсинга тоже сейвится в файл, дабы можно было продолжать процесс.
Другие потоки смотрят на файл с линками, загребают себе небольшие кучки и отрабатывают (вытаскивается только титл и текст, без "ссылок\сайтов по теме".
Код - вменяемый, откоментированный.
Сроки - минимальные, писать тут особо нечего.
Оплата - по факту или через СБС.
Здравствуйте! игра Netstorm:island of war мне нужен сервер игры.работа в с++.посмотреть что за игра можно здесь netstormhq.com http://vkontakte.ru/id2959800 если не сложно ответьте сюда,т.к. здесь я бываю раз в месяц. заранее благодарю.
Добрый день! Необходимо сделать программу которая измеряет площадь нестандартных объектов. Пример: С зафиксированной камеры делается снимок сверху на стол (например цвет стола салатовый) На стол кладется плоский, непрозрачных объект (белый, красный и т.д.) С камеры делается снимок. С данной фото ...
Есть некоторая программа. exe файл, и набор данных к нему во вложенных папках. Задача сводится к тому, чтобы сделать "инсталляшку" для пользователя, который запустив файл setup.exe или install.exe - получить процесс инсталляции этой программы в ...
Здравствуйте. Необходимо разработать калькулятор расчета стоимости полиграфической продукции, с базами данных.
Требуется программист для осуществления проекта создания прикладного ПО на описанном алгоритме. мыло: [email protected]
Здравствуйте Есть потребность в создании онлайн калькулятора стоимости ремонта автомобилей. требуемая цепочка: Юзер видит на сайте список авто (как на auto.ru) выбирает нужную марку, модель и год, далее перечень работ и в ответ получает стоимость и комментарии. Нужен ...
Требуется написать модуль заказов для 7.7 по типу планирование только более точный. Желательно или Москва или область.
Доброе время суток! требуется человек, имеющий опыт в работе с apache nutch Спасибо!
Клиент-серверное приложение, сервер на UNIX (FreeBSD), база данных mysql/postgresql, большой объем записей и высокая нагрузка на сервер / базу данных. Клиентское ПО с дружественным интерфейсом, изначально для Windows, но в дальнейшем обязательно для Mac OS ...
В срок 4 дня , нужна пилотная версия программы. Нужно сделать программу "автоматизированную систему составления расписания для Вуза". Нужно сделать программу, которая бы автоматически составляла расписание на основе генетических алгоритмов для одной группы всего лишь (т.е. ...
