Написать парсер
Евгений9 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
28.01.2021
Здравствуйте
Нужен парсер который будет работать на сервере. Скорее всего на PHP но рассмотрю другие предложения
Сайты которые нужно парсить:
NTSK ([url=http://board.ntsk.ru/index.php?r=category&ads_city=5562&category_id=14&ads_type[]квартиры, комнаты, [url=http://board.ntsk.ru/index.php?r=category&ads_city=5562&category_id=12&ads_type[]дома)
ЦИАН (квартиры, дома, комнаты)
Схема работы парсера:
- Парсер собирает информацию с сайтов из списка с заданной периодичностью (например 10 минут).
- Телефонные робот обращается к парсеру по API (http запросом) и забирает новые номера, с той же периодичностью.
- После того как робот выполнит свою работу он внесет новые данные для элементов и отметит обработанные элементы (в данном случае объекты недвижимости), таким же способом как и забрал через API http запросом.
- Парсер по апи отправит отмеченные элементы по API в CRM систему. (CRM еще не определена, но точно там будет API)
- Использование прокси и обход блокировок со стороны сайтов указанных сайтов
- Возможно использование базы данных если это целесообразно.
- Собираем только новые объявления
- Проверка на дубли по номеру телефона и количеству комнат и типу недвижимости. Дубли исключаем
- Ссылка на объявление
- Имя
- Номер телефона
- Название объявления
- Тип недвижимости
- Количество комнат
- Описание
- Ссылки на фотографии
- Цена
- Адрес (Город, улица, дом, квартира)
- Этаж
- Общая площадь