Многопоточный чекер сайтов

Веб-программированиеЗакрыт9 заявок328 просмотров
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Есть 10 000 адресов сайтов. Необходимо в многопоточном режиме организовать опрос этих сайтов методом HEAD и получить заголовок ответа сервера по каждому URL. Т.е. 200, 404, 504 и т.п.

Делаем селект из базы mysql по определенным параметрам. Получаем список доменов с параметрами некими.

Создаем поток:

В зависимости от неких параметров из выборки генерируем юзер-агент и реферер для конкретного url и делаем коннект к нему и спрашиваем ответ сервера (HEAD). Ждем ответа 5 секунд. Если в течение 5 секунд ответа не получили, то ничего не делаем.

Если ответ пришел, то полученный код ответа (200, 404, 504 и т.п.) записываем в БД

Закрываем поток.

и так N потоков одновременно - все сайты из первоначальной выборки.

Подробнее исполнителю.

Требования:

- по минимуму используемых ресурсов

- максимально возможное число потоков для сервера с 1Гб оперативки (при условии что кроме этого скрипта там ничего нет)

- минимально возможное время завершения работы по опросу всех сайтов.

- не Windows. Работать будет на сервере.

В комментариях помимо стоимости и сроков ОБЯЗАТЕЛЬНО (это влияет на выбор) укажите пожалуйста:

- язык, на котором Вы это можете написать (можно: perl или C)

- количество потоков, которое можно будет реализовать одновременно

- планируемое время опроса 10 000 сайтов при условии, что каждый из них ответит 200 ОК в течение 1 секунды после отправки запроса.

MySQLPerl
13 лет назад
Defin
40 летРоссия
18 лет в сервисе
Была
7 лет назад
Выбранный исполнитель
svann
45 летУкраина
15 лет в сервисе
Был
12 лет назад
13 лет назад
$80
7 дней
  • Похожие заказы

  • Сделать опросный лист

    $50

    Необходимо создать опросный лист (образец http://www.optima-electric.ru/5_Catalog/VENT/description/calculator/) с простым оформлением ( http://www.optima-electric.ru/5_Catalog/VENT/central_air_conditioners/functionals/index.php). Стили отдельно в этом же файле. Далее необходимо будет на основе опросника создать калькулятор.

    Веб-программирование3 заявки
    Закрыт
    13 лет назад

  • Текстовая реклама на сайте.

    $50

    Движок oscommerce В админке В разделе инструменты сделать дополнительный блок "Менеджер текстовой рекламы" Обязательные поля: Рекламный текст 200 символов Должен показываться с: (dd/mm/yyyy) Должен показываться до: (dd/mm/yyyy) или Кол-во просмотров ____ Данные заказчика: ФИО тел Вывод текстовой рекламы должен производиться в описании товаров. www.primer/product_info.php каждые 200 стр., если описание товара менее ...

    Рекламный текст
    Веб-программирование2 заявки
    Закрыт
    13 лет назад

  • Мультилого

    $40

    Логотип сайта, находится в верхнем левом углу. Требуется сделать смену логотипа в зависимости от даты. Цели: в зависимости от дат (праздников) меняется лого. В админке сделать дополнительный менеджер Логотипа В нем уже делать все настройки: Менеджер Логотипов Название Лого: URL ...

    Веб-программированиенет заявок
    Закрыт
    13 лет назад

  • Мультилогин

    $200

    На oscommerce сделать вход мультилогином. Для входа на сайт вы можете использовать свой аккаунт в этих сервисах: * ЖЖ * Facebook * ВКонтакте * ...

    Веб-программированиенет заявок
    Закрыт
    13 лет назад

  • Flash-сайт, иллюстрации высокого качества

    $3000

    Необходимо разработать flash-сайт высокого качества, все подробности описаны в прилагаемом документе. От исполнителя требуется предложить цену в разбивке на 2 предложения: 1. Рисование 2. Анимация От соискателя требуется привести примеры своих работ по иллюстрациям, рисункам и анимации. Бюджет заложен хороший, ...

    Flash
    Веб-программирование14 заявок
    Закрыт
    13 лет назад

  • Довести сайт до рабочего состояния

    $150

    Доброго времени суток! Есть сайт: stolnikk . ru - аналог fiverr . com Там уже почти все сделано, но разработчик к сожалению не смог больше работать по обстоятельствам... нужен человек, который рзаберется в том, что ...

    Веб-программирование3 заявки
    Закрыт
    13 лет назад

  • Расписание уроков + личный кабинет

    Уважаемые фрилансеры! Требуется создать на сайте онлайн школы иностранных языков систему онлайн планирования уроков в режиме онлайн, с возможностью планирования занятий, указания тем урока и тп преподавателем и переноса занятий студентом. Требуется также возможность хранения ...

    Веб-программирование10 заявок
    Закрыт
    13 лет назад