Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

https://docs.google.com/document/d/1srPmpESlkGgTpcUSNdcZacP6LbH6HIz4fKCipqGRDmw/edit?usp=sharing

Скрипт должен использовать прокси для парсинга информации. Прокси мы предоставим.

Скрипт должен работать на VPS от Hetzner CX41 (CPU4Intel RAM16 GB Disk space160 GB Traffic20 TB) держать нагрузку и не падать при парсинге данных, в не зависимости от количества аукционов. Таблица на момент окончания аукционов должна содержать более 98% всех данных (ставках и финальных ставка аукционов, а также вся информация и характеристики лота)

  • Парсим все даты аукционов(дата и количество аукционов) https://www.iaai.com/LiveAuctionsCalendar, раз в 20 минут с рендомной прокси и записываем в таблицу auctions_date. Должны быть все актуальные аукционы в таблице
  • Парсим  список аукционов по датам, по кругу, и парсим всю информацию об аукционах с рендомной прокси auctions_live - https://www.iaai.com/LiveAuctionsCalendar . Раз в 5 минут
  • Дальше в день проведения аукциона получаем ссылку на вебсокет для каждого аукциона, который проводится в текущий день. Подключение должно быть с рендомного пользователя, должен использоваться список пользователей и прокси. Слушаем вебсокет постоянно, проходя все подтверждение, если нужно, и записываем все данные о ставках и дополнительную информацию в таблицу auctions_bid_history. Должна быть вся информация. Поля которые точно должны быть (ид лота, ид кто делает ставку, регион откуда делают ставку, ставка)
  • Дальше если для лота, больше чем час мы не получаем ставок, мы записываем последнее значение ставки и считаем, что это финальная цена. Записываем в таблицу auctions_bid
  • По идентификатору лота мы получаем всю информацию о лоте и записываем в таблицу auctions_lots. Должна быть вся информация о лоте и все характеристики лота, которая есть на аукционе. Мы распарщиваем JSON для каждого ключа свое поле, в которое записываем запись из Json. Ссылки на изображение мы храним в отдельной таблице auctions_lots_photos (с привязкой к лоту), в которую записываем ид лота с таблицы auctions_lots и все ссылки на фотографии.
Подключаемся к вебсокету и распарщиваем JSON для каждого ключа свое поле, в которое записываем запись из Json. Должна быть вся информация. Поля которые точно должны быть (ид лота, ид кто делает ставку, регион откуда делают ставку, ставка)

Скрипт должен работать постоянно в кроне, каждый день, когда есть аукционы https://www.iaai.com/LiveAuctionsCalendar парсить все биды (ставки на аукционе) из этих аукционов с привязкой к лотам и обязательно записывать финальную ставку . При проверке должно быть более 98% всей информации.

2 года назад
AlexAntonenko
63 годаУкраина
15 лет в сервисе
Был
7 месяцев назад