Требуется доработка 4 парсеров, написанных на Python с использованием Selenium. Необходимо внедрить многопоточность, реализовать перебор проксей и интегрировать антикапчу для повышения эффективности работы скриптов.
Парсинг + загрузка товаров в интернет магазин
Здравствуйте!
Нужно сделать 2 задачи.
1) Парсинг товаров с сайта.
Есть сайт поставщика https://www.dahuasecurity.com/ru и наш сайт https://reeft-shop.ru/ (движок шоп-скрипт).
На сайте поставщика очень подробная информация по товарам, но довольно запутанная. Мы хотим спарсить информацию в каком то удобоваримом формате для загрузки на сайт например csv.
Пример карточки товара https://www.dahuasecurity.com/ru/products/All-Products/Network-Cameras/Lite-Series/Full-color/IPC-HFW2439S-SA-LED-S2
Что нужно спарсить в первую очередь https://yadi.sk/i/HeYlF4WRG-RXRA
Далее характеристики.
Характеристики должны быть импортированы в магазин как пара характеристика:значение. И как правило они так и идут на сайте поставщика: https://yadi.sk/i/rStNUcO-FL5aGg
Но есть и исключения например характеристика дистанция DORI может быть такой: https://yadi.sk/i/3eeWuB8ioMVtLw а может быть и такой https://yadi.sk/i/oBHJCWWV4Q-LJA или такой https://yadi.sk/i/U23jPhQgw8ovRQ. Пока нет понимания что с этим делать - может отказаться от импорта данных характеристик. Может заменить их по какому то шаблону. Это я к тому, что есть непонятные моменты которые нужно будет решить в процессе. Пока я вижу только один с "дистанция DORI", но могут возникнуть и другие.
У Аксессуаров нужно https://yadi.sk/i/J3kPwvtUOz-kiw
И последнее изображения и файлы к товару. https://yadi.sk/i/PwSlZMiBEuEP6w
Я пробовал собрать данные через гугл таблицы - почему то не получалось получить путь к изображениям, с фалами такой проблемы не было. Не знаю может там какой то нюанс есть.
Должна быть возможность периодически делать парсинг. Как договоримся я подробное тз сделаю.
2) Далее нужно загрузить товары в интернет магазин.
Вот формат - csv https://yadi.sk/d/CEpLgxliQxkUnA
Нужно будет решить вопросы:
- загрузка аксессуаров (сопутствующих товаров)
- загрузка файлов
Сейчас такой возможности нет.
Есть готовые плагины, но со своими проблемами. Возможно, проще всего напрямую в базу данных записывать.
Цена, срок?
Заявки фрилансеров
Похожие заказы
- $205Веб-программирование5 заявокЗакрыт4 года назад
- $100
Требуется разработка Backend-программирования для корпоративного сайта с полным функционалом. Необходима интеграция с Frontend и создание административной панели на Voyager для управления контентом. Подробности будут обсуждены с исполнителем.
Веб-программирование1 исполнительЗакрыт4 года назад Требуется разработать скрипт для MODX Revolution, который будет автоматически генерировать alt-теги для изображений в контенте страницы, если они не заполнены. Скрипт должен работать для галереи товара minishop2, приложения Gallery и обычных изображений в описании страницы. Генерация alt будет основываться на заголовках h1-h3 на странице. Подробности будут предоставлены исполнителю.
Веб-программирование2 заявкиЗакрыт4 года назадНеобходимы доработки сайта на OpenCart 2.3. Задачи включают исправление оформления заказов и их отправки на почту, добавление функции онлайн оплаты, а также синхронизацию цен с 1С. Ищем специалиста по веб-программированию.
Веб-программирование2 заявкиЗакрыт4 года назадТребуется программирование и верстка корпоративного сайта на WordPress. Сайт включает страницы с товарами (около 100), фотогалерею и видео презентацию. Необходима форма для запроса цены. Ожидаем предложения по другой CMS с обоснованием.
Веб-программирование11 заявокЗакрыт4 года назад- $1000
Необходимо выполнить доработку существующего проекта на Laravel, реализовав список правок. Подходят кандидаты с опытом в веб-программировании. Список правок будет предоставлен кандидатам.
Веб-программирование6 заявокЗакрыт4 года назад Требуется спарсить title страниц сайта из Sitemap. Защиты нет, необходимо указать IP для предотвращения блокировок. Формат вывода данных - CSV. Общее количество страниц для парсинга составляет около 8000.
Веб-программирование1 исполнительЗавершен4 года назадРазработайте модуль репутации для XenForo 2.2.5, который позволит пользователям изменять уровень своей репутации и комментировать изменения. Функции включают возможность запрета изменения репутации, статистику пользователей и администрирование изменений. Модуль должен поддерживать настройки для администраторов, включая управление комментариями и правилами изменения репутации.
Веб-программированиенет заявокЗакрыт4 года назадТребуется помощь в веб-программировании для обновления фото на сайте из базы Мой Склад. Необходимо настроить API для отображения остатков, наличия и транзита. Существующие фото загружаются в папку сайта, новые не обновляются. Задача включает интеграцию с партнером для актуализации данных.
Веб-программирование3 заявкиЗакрыт4 года назадТребуется разработать браузерную автоматизацию с использованием Selenium. Возможные языки программирования - Python или Java. Более подробное техническое задание будет предоставлено исполнителю.
Веб-программирование5 заявокЗакрыт4 года назад