Здравствуйте, коллеги. Есть задача по парсингу. Я сам опытный разработчик, но сейчас загружен заказами на 100% и мне нужен помощник на конкретный заказ. Прошу внимательно прочитать текст и не откликаться если это не ваш профиль. Автозаявки проигнорирую.
Есть интернет-магазин для которого я ранее уже писал парсер с веб-интерфейсом (PHP, Laravel) и некоторыми дополнениями. Реализация самого парсинга была банальной: HTTP-запросы через cURL. Сейчас мой клиент захотел расширить функционал и мы уже почти начали, но парсер внезапно перестал работать: сервер не только блокирует некоторые запросы, он также перестал выдавать HTML-код со страницей товара, вместо него выдает страницу с кучей запутанного JavaScript-кода, требуя авторизации. Мой клиент активный пользователь сайта и говорит что незарегистрированные пользователи иногда блокируются после определенного количества просмотра товаров. Вариант с автогенерацией аккаунтов для парсинга не подойдет: регистрация очень замороченная, с подтверждением телефона и почему-то только через мобильное приложение.
ЗАДАЧА
Необходимо написать работающее решение которое позволит извлекать код страницы с товаром по ссылке. Это задача минимум. Далее будет актуален вопрос подмены IP, HTTP-заголовков и всего прочего для массового парсинга, но это я забегаю вперед для более глубокого понимания задачи, пока что актуальна именно та задача, которую описываю в данный момент.
Сейчас нужно просто получить код страницы и сделать это решение совместимым с Laravel, поскольку проект состоит не только лишь из одного парсера (суть в том чтобы заменить неработающий парсер на новый в рамках этого проекта и подключить к текущей системе). Сервер на Linux (не хостинг). Желательно разработать на PHP, но, в принципе, если будет возможность обращаться к вашему решению из Laravel - пишите на чем хотите, хоть на C++, лишь бы работало (но исходники в любом случае предоставьте).
Лично я рассматриваю как один из вариантов браузерную автоматизацию. Смысл: иметь возможность работать со страницами которые рендерятся через JavaScript (очевидно что cURL такой возможности не дает), и в целом имитировать действия реального пользователя, что сложнее осуществить посредством прямой отправки HTTP-запросов.
ТРЕБОВАНИЯ
- на входе URL страницы товара, на выходе HTML-код отрендеренной страницы;
- под Linux, совместимость с Laravel (напрямую, как часть проекта, либо через API);
- опыт в парсинге непростых сайтов;
- предоставление исходников.
УСЛОВИЯ
С финансированием проблем быть не должно (в пределах разумного, конечно же), сроки обсудим. Нацелен на долгосрочное сотрудничество. Напишите в заявке что умеете в плане парсинга и на каких технологиях работаете. Я скину ссылку на сайт в приватной беседе.
Необходимо написать парсер сайта [url=https://freelancehunt.com/out/http%3A%2F%2Favito.ru]Avito.ru[/url] через телеграам бота, ВАЖНО, что бы парсинг происходил НЕ через selenium.Так как selenium очень долгий в этом плане. Необходимо использовать самые быстрые методы извлечения информации, это необязательно должна быть эмуляция браузера. Тем ...
Необходимо для проекта подобрать решение для рассылки, используем в данный момент AcyMailing, но может быть есть лучше решение. Также необходима помощь в настройке этого компонента, он на джумле установлен
Нужно выполнить следующею лабораторную работу в консольном приложении: Написать программу, реализующую иерархию классов собирателей водорослей (Collector). Собиратели бывают следующих типов: Дельфин (Dolphin) Стартовая скорость не зависит от оплаты (её не платят) и составляет 15 кг/час. Коэффициент уставания – ...
Привет всем. Я ищу, кто может создать робота для бинарных опционов, который может автоматически торговать на binomo Этот робот должен быть в расширении Chrome или на рабочем столе, который может подключать поток данных из binomo api. Также мне ...
Необходимо написать программу на Python, которая решает систему диф.ур. методом Рунге-Кутты 4-ого порядка. Имеется лит-ра (15 страниц), которая описывает данную систему. И пример программы на Pascal ,на котором можно базироваться при выполнении работы. Необходимо реализовать ...
Транспортные маршруты представлены номерами со списками остановок, заданными в порядке их следования по маршруту. Реализовать алгоритм ре- шения задачи о нахождении маршрутов для пассажира с заданной начальной остановки в заданную конечную. ИМЕЕТСЯ ПРИМЕР
Нужна программа для проверки лайков и комментариев по Хештегам в Инстаграм .В программу я ввожу тег который меня интересует , в день это может быть 2-3 тега одновременно.Программа должна писать отдельно про каждый тег такую ...
Нужен человек для выполнения контрольной работы по Java, 3 задания, нужны со скринами кода и выполненной задачи. Если можете сделать 2 из 3, то тоже пишите! Скриншот с заданиями прикрепил. .........................................................................................
[url=http://joxi.ru/52aa8pDSkxMnB2?d=1]Рубрику возможно не ту выбрал, подскажите в лс какая более подходящая. http://joxi.ru/52aa8pDSkxMnB2?d=1 [/url] Это список опций к станкам, нужно сделать какую-нибудь опцию в каждой строке, чтобы при выборе этой опции она копировалась на следующую страницу. То есть этой файл ...
Нужно написать две программы на языке Python 1. Решить задачу построения метамодели для ДКА-распознавателя. Любыми известными разработчику способами. Пояснения есть в прикрепленном файле. 2. Требуется представить описание способа определения ДКА-распознавателя и его поведения, не используя конструкции существующих ...