Есть проект на Phytone Dgango morebaikal.ru. Последние 3-4 месяца сайт стал долго загружаться и периодически недоступен. Грешу на то, что программист плохо оптимизировал БД и кэширование. Еще грешу на сервер. Требуется все это исправить, если ...
Написать систему парсинга (сайт olx.ua). Laravel, PHP, sleeping_owl
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
Нужно написать несколько скриптов для парсинга объявлений.
Сайт-основа на Laravel, но это не очень принципиально, пойдет и на чистом ПХП.
Краткое описание задачи:
Есть входные значения от пользователя - это ссылка на лист объявлений,
и список полей которые надо парсить в каждом объявлении.
Каждый пользователь сам задает что ему парсить - эта часть уже готова, вашим скриптам приходят уже заданные значения.
Скрипты заточены под парсинг мобильной версии olx.ua.
Скрипты будут запускаться по крону, независимо друг от друга.
Структура таблиц обсуждается.
Краткое описание:
Скрипт 1: Прохожу по листу урлов, выбираю со страницы ссылки на объявления. Проверяю url на наличие в бд, отсутствующие урлы записываю.
Скрипт 2: Прохожу по каждому урлу, получаю контент страницы и номер телефона (в 2 захода, это 2 разные страницы).
Скрипт 3: Захожу в каждую объяву, разбираю ее по запросу, пишу результат в JSON сохраняю в бд.
Подробное ТЗ со структурой таблиц прилагаю здесь (чтоб не засорять страничку):
PS. Скрипт получающий страницу (каждый раз с новым юзерагентом и прокси для обхода защиты) уже есть, и можете это не делать.
Получение страницы вместо file_get_contents( $url ) будет через get_web_page( $url )
Предлагайте сумму и сроки выполнения.
- Похожие заказы
- Веб-программирование3 заявкиЗакрыт9 лет назад
Нужна очень простая shopping cart на php + ajax без админки, без красоты, с простым и легким кодом. На странице много разного товара. Под каждым товаром есть кнопка купить. При нажатии на кнопку купить, товар автоматические ...
Веб-программирование7 заявокЗакрыт9 лет назад- $150
Сделать интернет-магазин на simplacms из вёрстки тз в приложении и скрины вёрстки в приложении бюджет 7000 рублей ВЕРСТАТЬ НЕ НУЖНО, вёрстка готова уже оплата после выполнения работы
Веб-программирование1 заявкаЗакрыт9 лет назад Есть у меня сайт на Wordpress. И есть у меня различные youtube каналы. Нужно настроить автопостинг, чтобы при добавлении видео в youtube оно автоматически постилось в соответствующую рубрику блога с переносом следующих элементов: - Заголовок видео, - Дата, - ...
Веб-программирование6 заявокЗакрыт9 лет назадСоздание скрипта обновления цен из прайса поставщика по артикулу товара из 1C в Prestashop 1.6.0.14 (только обновление цен, без создания новых товаров).
Веб-программирование1 заявкаЗакрыт9 лет назадНужно доделать движок на PHP 1) На всех страницах одинаковый заголовок <титл>, нужно чтобы когда открывался раздел «Статьи» в <титл> было «Статьи», открывалась новость в <титл> заголовок новости.. <титл> нужен на модули "Новости" "Статьи" "Файлы" ...
Веб-программирование8 заявокЗакрыт9 лет назадТребуется программа по накрутке кликов (кликание с разных IP-адресов ) .
Веб-программирование2 заявкиЗакрыт9 лет назад- $20
Интегрирование в наш Личный кабинет функции автоматической рассылки через сайт pechkin-mail.ru
Веб-программирование1 заявкаЗакрыт9 лет назад Имеется сайт на DLE - warforukraine.com. Неободимо немного доработать шаблон (минимальные правки) согласно ТЗ + настроить мобильную версию сайта. Жду Ваших предложений.
Веб-программирование1 заявкаЗакрыт9 лет назадНужен сайт на модиксе специфика - каталог, из функционала лк с добавлением объекта, фильтр поиска по категориям. верстка есть, тз тоже, сроки чем быстрее тем лучше. Цена вопроса обсуждаема. Справитесь в течении максимум 2 недель ...
Веб-программирование3 заявкиЗакрыт9 лет назад