Добрый день! У нас есть проект, который получает в real-time данные о матчах через steam API. В ввиду того что само по себе API не стабильно, и время от времени с ним возникают проблеммы, мы вынуждены ...
Создание парсера данных
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
https://docs.google.com/document/d/1srPmpESlkGgTpcUSNdcZacP6LbH6HIz4fKCipqGRDmw/edit?usp=sharing
Скрипт должен использовать прокси для парсинга информации. Прокси мы предоставим.
Скрипт должен работать на VPS от Hetzner CX41 (CPU4Intel RAM16 GB Disk space160 GB Traffic20 TB) держать нагрузку и не падать при парсинге данных, в не зависимости от количества аукционов. Таблица на момент окончания аукционов должна содержать более 98% всех данных (ставках и финальных ставка аукционов, а также вся информация и характеристики лота)
- Парсим все даты аукционов(дата и количество аукционов) https://www.iaai.com/LiveAuctionsCalendar, раз в 20 минут с рендомной прокси и записываем в таблицу auctions_date. Должны быть все актуальные аукционы в таблице
- Парсим список аукционов по датам, по кругу, и парсим всю информацию об аукционах с рендомной прокси auctions_live - https://www.iaai.com/LiveAuctionsCalendar . Раз в 5 минут
- Дальше в день проведения аукциона получаем ссылку на вебсокет для каждого аукциона, который проводится в текущий день. Подключение должно быть с рендомного пользователя, должен использоваться список пользователей и прокси. Слушаем вебсокет постоянно, проходя все подтверждение, если нужно, и записываем все данные о ставках и дополнительную информацию в таблицу auctions_bid_history. Должна быть вся информация. Поля которые точно должны быть (ид лота, ид кто делает ставку, регион откуда делают ставку, ставка)
- Дальше если для лота, больше чем час мы не получаем ставок, мы записываем последнее значение ставки и считаем, что это финальная цена. Записываем в таблицу auctions_bid
- По идентификатору лота мы получаем всю информацию о лоте и записываем в таблицу auctions_lots. Должна быть вся информация о лоте и все характеристики лота, которая есть на аукционе. Мы распарщиваем JSON для каждого ключа свое поле, в которое записываем запись из Json. Ссылки на изображение мы храним в отдельной таблице auctions_lots_photos (с привязкой к лоту), в которую записываем ид лота с таблицы auctions_lots и все ссылки на фотографии.
Скрипт должен работать постоянно в кроне, каждый день, когда есть аукционы https://www.iaai.com/LiveAuctionsCalendar парсить все биды (ставки на аукционе) из этих аукционов с привязкой к лотам и обязательно записывать финальную ставку . При проверке должно быть более 98% всей информации.
- Похожие заказы
- Веб-программирование6 заявокЗакрыт2 года назад
Нужно создать скрипт, который будет заносить расходы мастеров компаний (товарные компании) в ройстат в пользовательские показатели
Веб-программирование3 заявкиЗакрыт2 года назадДобрый день! Нам необходимо внести некоторые изменения: Убрать тесты звука при старте Упростить подключение камеры (но оставить право настройки) Убрать кнопку свернуть презентацию Когда выключена камера неудобно понять (пропадает аватарка) Ведущий может выключать камеры Настройку "Разделение видео" (выключить по умолчанию) для ...
Веб-программированиенет заявокЗакрыт2 года назадДобрый день! Сайт на Wordpress, но задачи не связаны с тем, что можно редактировать именно от админки вп, поэтому в поисках разработчика. Планируем долгое сотрудничество. Тз в доке, просьба оценить по стоимости и срокам. Тз ...
Веб-программирование4 заявкиЗакрыт2 года назадЕсть [url=https://tm.ua/]старый сайт[/url], для которого сделали [url=http://designer.ua/]новый дизайн[/url] (там только две страницы). Верстка нового дизайна была сделана слабеньким начинающим верстальщиком, который также не знал php и порядок создании микроразметки. Поэтому в верстке не были предусмотрены подключение ...
Веб-программирование3 заявкиЗакрыт2 года назадНужно выложить коллекцию из 7777 нфт на сайт opensea, чтобы это сделать, понадобиться код из видео https://m.youtube.com/watch?v=jue7UPg4gKI&t=1s
Веб-программирование14 заявокЗакрыт2 года назадИмеем сайт на фреймворке yuii На странице услуг есть форма обратной связи. Данные с формы обратной связи сохраняются в БД и отображаются в админке. Необходимо доработать код формы, чтобы после сабмита формы значения полей улетали ...
Веб-программирование6 заявокЗакрыт2 года назад- $6
Нужно установить расширение в браузер, который управляется python selenium Нужно именно показать как это сделать, можно на видео или ещё как-то, в общем у меня у самого он должен быть установлен после вашей помощи. Оставляйте ...
Веб-программирование2 заявкиЗакрыт2 года назад Задача через стандартный метод reachGoal (справка https://yandex.ru/support/metrica/objects/reachgoal.html) в метрике вызвать цель, некоторые примеры даны в справке по ссылке выше (скрин https://s.mail.ru/2gUw/4Y7avDuux) Сложность в том что в примерах - сам пользователь инициирует событие на странице, срабатывает скрипт и передается ...
Веб-программирование3 заявкиЗакрыт2 года назад- $10
Нужно спарсить данные с 3000 страниц сайта https://www.olx.ua/ по запросам с учетам нужного региона. Более детальное тз в личку.
Веб-программирование4 заявкиЗакрыт2 года назад