Парсер Авито

Добрый день. 

Необходимо разработать парсер работающий по такому же принципу как гугл индексирует сайты, то есть много и быстро. Возможно не правильно выразился, но суть в следующем: Парсить нужно – много, быстро, постоянно, и в автоматическом режиме. 

Далее, полученная инфа обрабатывается, фильтруется и сортируется по заданным критериям.  

Критерии будут подробно описаны для исполнителя. 

Затем обработанные объявления выдаются на наш сайт в виде интерактивного графика.  

Всего будет два графика с разными задачами и показателями.  

На каждом графике не более 30 позиций товара. Да, из огромного объма нам нужны выжимки.  

Например Авито выдает почти 40 млн объявлений, но нам нужны не более 30 позиций.  

Для оптимизации и ускорения парсинга, на каждое объявление нужно делать не более трех запросов, то есть по трем точкам – заголовок, цена и просмотры. Но при этом нужно предусмотреть возможность менять точки запроса, то есть должны быть ручные настройки фильтров самого парсера.  

В настройках фильтров должна быть возможность выбора точек запроса в объявлении и обязательно категорий, например категория недвижки нам точно не нужна и нет смысла е парсить. А другие категории в зависимости от сезона. 

Хранить спарсенную инфу нет необходимости, поэтому если и нужна будет БД, то только для временного хранения, на время оперативной обработки данных. 

Обновление информации должно происходить не более чем каждые 3-5 часов, чем быстрее тем лучше. 

Парсер будет располагаться на отдельном сервере, получать запросы, обрабатывать и отправлять нужные данные на сайт. 

Это если коротко, все подробности будем обсуждать с исполнителем. 

От Вас – Цена, сроки, вопросы.

С уважением  Александр