Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Необходимо написать приложение, которое (средствами curl) будет посещать веб-страницы (представляясь краулером), собирать с них необходимые данные (от размера страницы и заголовков до произвольных кусков текста, всего более 30 параметров), и сохранять их в кеш на основе БД Redis. Отдельный скрипт по крону должен переносить данные из Redis в MySQL.

Программа должна корректно работать при запуске большого числа копий (более 1000).

Приложение необходимо написать на языке PHP-7 с использованием современных принципов ООП. Доступ к веб-страницам осуществляется с помощью сURL. (Возможно рассмотрение другого ЯП для разработки приложения, но только в случае доказательства неоспоримого преимущества в скорости работы, и выигрыше в требуемых ресурсах, а также при наличии опыта в написании подобных приложений на желаемом ЯП.)

Опыт работы с подобными задачами очень приветствуется.

8 лет назад
monkkeybiz
Андрей 
43 годаРоссия
15 лет в сервисе
Был
2 года назад
  • Похожие заказы
  • Сайт sk-mobile.ru Работает CMS Joomla. Просьба отвечать только тем, кто имеет работы с Jooml'ой   На сайте необходимо сделать следующие доработки: 1. На главной странице в тексте баннеров убрать тег H1, переделываем на H6 2. Установить карту сайта - sitemap ...

    Закрыт
    7 лет назад
  • Нужно настроить автопубликацию через крон в страницу ВК. Есть сайт-гороскоп, нужно публиковать одну и ту же ссылку на паблик или группу ВК - текст, дата текущего дня, и ссылка(миниатюра+title). Руководство в интернете есть... только боюсь проблемы будут ...

    Закрыт
    7 лет назад
  • Есть сверстанный лендинг, но у него слайд (экран, как хотите называть) больше экрана компьютера, то есть слишком большой и непрактичный. Требуется доработать

    Завершен
    8 лет назад
  • Требуется программа, которая нажатием одной кнопки открывает порядка 10 сайтов и располагает окна на рабочем столе в заданном порядке, желательно с возможностью пользовательской настройки. Для входов на все сайты используются логины и пароли предварительно вносимые ...

    Завершен
    7 лет назад
  • $700

    На удалённую работу в команду требуется опытный Веб-разработчик. Профессиональные требования: — Знание языков: PHP, Javascript. Умение работать с СУБД MySQL. — Умение работать в паблик фреймворках. Примеры необходимых: Kohana, Yii, Laravel. — Умение разобраться в чужом коде (чужой код ...

    Закрыт
    7 лет назад
  • Приветствую Есть такая задача:  Сделать передачу заявок с сайта на базе Opencart в сервис дропшиппинга rusdropshipping.ru через API Есть документация по API, список параметров, пример кода.  Указывайте стоимость и сроки реализации, а так же, готовы ли работать с оплатой ...

    Закрыт
    7 лет назад
  • Есть сайт hoo(убрать)kahcen(убрать)ter.ru Сайт на Joomla + Joomshopping. На Joomshopping установлен плагин, который выводит способ оплаты: Robokassa. В тестовом режиме оплаты при нажатии на "оплатить" сразу редиректит на главную страницу сайта robokassa.ru. В реальном режиме показывает такое окно - http://joxi.ru/8235RddtJ69Kbr  Нужно ...

    Закрыт
    7 лет назад
  • Есть dle версии 10.2 необходимо: 1. Убрать из новостей ID, урл должен выглядеть для старых новостей и созданных в будущем вот так:  site.ru/o_produkcii/kley-poliuretanovyy.html, сейчас выглядит:  site.ru/o_produkcii/15-kley-poliuretanovyy.html 2. Изменить категорию:  site.ru/o_produkcii/                   ...

    Закрыт
    7 лет назад