Основные цели:
Парсинг данных вида: товар (карточка товара):массив синонимов (офферов)
Парсинг полей-характеристик товаров (они же фильтры)
Парсинг структуры категорий и связей товар-категория
Подробное ТЗ в ЛС.
Для каждой площадки свой набор таблиц товаров/категорий/полей и тд
Экстракторы (файловые):
Новые товары в категории: кликаем на категорию - возвращает дамп с новыми товарами для конкретной категории
Требования к стеку:
Laravel + laradock в корне репозитория (postgres clickhouse redis redis-webui laravel-horizon)
Во время парсинга, нужно отлавливать то обстоятельство, когда площадка меняет верстку карточки страницы и категорий и делать алерт в телегу и на почту
Во время ошибок делать алерт в телегу и(или) на почту
Юнит-тесты (хотя бы минимально)
Используем для очередей horizon (в контейнере ларадока)
Использование doctrineORM желательно
Для запросов используется массив проксей, это нужно сразу заложить в код, но при разработке их не использовать
Для парсинга товаров и парсинга категорий используются очереди с разными именами
Для запросов желательно использовать Guzzle
Логирование делаем стандартными средствами laravel
Логирование и другие вспомогательные операции по максимуму желательно выносить во вне классов (в декораторы, пример дам)
Таски для очереди нужно реализовать таким образом чтобы они были независимы от используемого движка очередей (чтобы с минимальными усилиями можно было переехать на другой движок очередей)
Приветствую, интересует многопоточный чекер проксей на fraudscore на сайте https://www.ipqualityscore.com/free-ip-lookup-proxy-vpn-test подробное тз: https://docs.google.com/document/d/1c5mdvVa1_K1tEyfi98HjAIMyQYDI1XInCgdQxw6PG1k/edit Интересует цена, сроки и метод реализации
Необходимо написать автоматизированный софт для работы с веб-интерфейсом. А также, понадобится ещё один софт, уже через АПИ. Два софта. Жду предложений.
Программа защиты от целевого фишинга. Предназначена для использования в дипломной работе. Критерии нужного результата, при надобности, обсудим.
ТЗНужно создать бота в телеграмм, изучить нужно вот этот бот: @CryptoBot.Функцию p2p торговли нужно перенести из бота выше в тот который будет создан, каких либо доработок функция не требует.Главное отличие это добавление новой торговой пары, ...
Софт/скрипт входит на ютуб канал посредством coockie файлов,добавляет описание,превью и видео которое нужно опубликовать.видео подгружает по ссылке с файлообменника куда оно загружено заранее Есть публичный проект реализован в виде телеграм бота,для удобства пользования.для меня можно сделать ...
Есть проект на языке программирование python. Его необходимо доработать. Предварительный созвон и краткое объяснение программы. Библиотеки: pyvis, vk-api, pyqt5 Пункты доработки: * создание нескольких потоков в программе (одновременное выполнение нескольких процессов в программе) * отображение БД в основном окне ...
Нужно настроить сервис рассылки по номеру телефона. Я формирую файл с телефонами и сообщением, сервис это все рассылает. сервер - Линукс, МАК, Виндоуз - разницы нет СПС P.S. Рассылка нужна для сообщений об акциях в клинике
Разработка информационной системы учета и подачи заявок читателей в библиотеке на языке Python. Расписать теорию как сделал
Есть парсер сайта на Python который в настоящий момент перебирает все марки машин и сохраняет их автозапчасти. Делает он это автоматически. Что требуется сделать: 1. При запуске парсера задать вопрос: Парсить все товары? 1.1 Если пишу "Yes" - Тогда ...
Платформа разработки АСУПП: Java 8. Сервер базы данных: Microsoft SQL Server. Веб-сервер – Apache Tomcat. Проект долгосрочный в течение года. ПО будет изменяться и дорабатываться до конца года. сумма проекта обсуждаемо