Нужно восстановить сайт с Вебархива Сайт polit.ua Сайт нужно выкачать по максимуму с контентом. Желательно что бы в коде было поменьше мусора от вебархива, и все восстановленные странички нормально загружались и отображались.
[PHP 7.+] [parser] Написать парсер объявлений с сайта недвижимости
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
Добрый день,
Необходимо написать парсер cian (ru). Желательно использовать DOMDocument для разбора HTML.
На вход подаётся город и параметр вывода. Параметр вывода - 0 - использовать только базу собственников, 1 - использовать только агентства (за вычетом собственников), 2 - и те и другие. На сайте есть флажек который это задаёт ('&is_by_homeowner=1'), но во втором случае надо вычесть из базы агентств базу собственников, в последнем - прибавить к одной базе другую.
Собственников и агентства нужно на выходе уникализировать, повторяющиеся номера просто пропускать в записи в файл оставляя одно объявление для 1 собственника или агентства. Уникализируются контакты, т.е. повторяющиеся номера, возможно и названия компаний, надо разобраться походу что эффективнее.
Внутри стоит функция парсинга конкретных данных, абстрактная. Т.е. на вход подаётся HTML. ParseHTML ($html). На выходе строки для файла CSV с параметрами объявления с полями данных для CSV.
Так же в скрипте должно подсчитываться количество записей в выборке, лежит в блоке любой запрашиваемой страницы. Просто должно быть реализовано функцией вида function GetNumCount($html);
Скачивание через CURL.
Телефоны "защищены" заменой блока DIV на блок с номером, можете посмотреть сами в JS скриптах.
Забираем основные текстовые поля, название компании /имя человека - название объявления - url ссылки на объявление отдельно, описание текстовое, телефон, опционально (отключается опцией вначале скрипта) - картинки (точнее их URL).
После определённого кол-ва запросов cian показывает капчу, нужно как-то вернуть результаты капчи в программу. Пусть даже и в ручную.
Оплата на ваше усмотрение - yandex.деньги, webmoney, VISA, MASTERCARD.
- Похожие заказы
- $10Веб-программирование1 исполнительЗавершен5 лет назад
Требуется подрядчик для разработки веб ресурсов. Прилагаю ТЗ. Для желающих сотрудничать прошу предложить цену и сроки с обоснованием. Без фанатизма, можно сделать расчет приблизительно и с запасом. Детально уже будем обсуждать в случае сотрудничества. Образец того как ...
Веб-программирование4 заявкиЗакрыт5 лет назадНужно выполнить редизайн сайта, поправить структуру, оптимизировать. Возможно перенести на WP. сайт на юкоз. al-kam.ru
Веб-программирование9 заявокЗакрыт5 лет назадЗдравствуйте! Есть стек drupal + vue (да, неожиданно). Задача: упаковать это все в докер и развернуть на сервере. Попытки упаковать были, но не очень удачно (пришлю для ознакомления заинтересовавшим кандидатам). Задача срочная, сегодня нужно сделать.
Веб-программированиенет заявокЗакрыт5 лет назад- $10
Добрый день. Нужно создать с НУЛЯ несколько конвертеров и калькуляторов. Например: Калькулятор валют Пример - [url=https://www.inecobank.am/hy/Individual]https://www.inecobank.am/hy/Individual [/url]В скриншоте указал конкретное место, где этот конвертер по ссылке И аналогично нужно 5-6 конвертеров для кредита, налог на имущество и так далее За один калькулятор готов ...
Веб-программирование9 заявокЗакрыт5 лет назад Сайт на битриксе. Напишите цену и сроки за данную работу. Общую за все и за каждый пункт отдельно. ТЗ со скринами во вложении.
Веб-программирование4 заявкиЗакрыт5 лет назадИщут Wordpress разработчика -фулстэк или WP разработчика + верстальщика. Задача: Написать портал по ТЗ - включает блог, магазин, афишу событий. Условия: 1. Обязательно глубокое понимания движка; 2. Опыт написания плагинов для WP/кастомных доработок; 3. Умение “вырезать” не нужные куски ...
Веб-программирование6 заявокЗакрыт5 лет назад(1) Есть система учета заказов, написанная под наши требования в 2012 году, PHP (скриншот 1 во вложении). (2) Также имеется система учета лидов, которую нужно взять за основу новой системы, по интерфейсу и ряду других вещей ...
Веб-программирование7 заявокЗакрыт5 лет назад- $250
[b]Нужно сделать фронтенд странички[/b]. Используя тайпскрипт и реакт. Запросы делайте на фейковую базу Вот задача в фигме [url=https://www.figma.com/file/KxL4MadvfsEGwevjhmLCtz/%D0%9A%D0%B0%D0%B1%D0%B8%D0%BD%D0%B5%D1%82-%D0%BA%D0%BB%D0%B8%D0%B5%D0%BD%D1%82%D0%B0-(Copy)?node-id=1%3A394]https://www.figma.com/file/KxL4MadvfsEGwevjhmLCtz/%D0%9A%D0%B0%D0%B1%D0%B8%D0%BD%D0%B5%D1%82-%D0%BA%D0%BB%D0%B8%D0%B5%D0%BD%D1%82%D0%B0-(Copy)?node-id=1%3A394[/url] В гугл документе есть описание задачи [url=https://docs.google.com/document/d/1fC5CKNGPHxKv4b27H_YzHt263B3pM1zSWvlR7rW-RoA/edit#heading=h.cux2zi8fyaig]https://docs.google.com/document/d/1fC5CKNGPHxKv4b27H_YzHt263B3pM1zSWvlR7rW-RoA/edit#heading=h.cux2zi8fyaig[/url] Компоненты с нуля делать не нужно, готовые можете брать из материал Мобильную версию делать не нужно. Время ...
Веб-программирование2 заявкиЗакрыт5 лет назад 1. Добавить в отчет по дням/неделям/месяцам/версиям столбец "Оценка на разработку" рядом со столбцом "Затраченного времени пользователем". 2. В превью задачи вывести цифры того, сколько уже потрачено на задачу "Ответственным программистом" и "Ответственным тестировщиком" по отдельности (На ...
Веб-программирование2 заявкиЗакрыт5 лет назад