Сделать парсер avito через телеграмм бота
Необходимо написать парсер сайта Avito.ru через телеграам бота, ВАЖНО, что бы парсинг происходил НЕ через selenium.Так как selenium очень долгий в этом плане. Необходимо использовать самые быстрые методы извлечения информации, это необязательно должна быть эмуляция браузера. Тем более что парсинг будет происходить через VPS сервер
1) У парсера должна быть многопоточность. Примерная скорость должна быть 9-15к объявлений в час. (Ротационные прокси на 40 потоков предоставлю)
2) У парсера должна быть очередь на использование. (Так как использовать этот парсер буду я и мой товарищ)
3) У парсера должен быть фильтр а именно - Когда запускаешь парсер /start он просит прислать ссылку на парсинг, мы присылаем, и следующим вопросом должен быть вопрос "Сколько активных объявлений должно быть у продавца в профиле", и тут мы указываем например 1, и тогда будут парсится объявления только с 1 активным объявлением в профиле, и следующий вопрос парсера будет - "Сколько неактивных ( Завершенных) объявлений парсить" тут тоже мы вписываем по желанию.
Пояснительный скрин прилагаю
4) У парсера должны логироватся все ошибки.
5) У парсера должна быть замена прокси через телеграмм.
6) Просмотр процесса парсинга через телеграмм, (то есть посмотреть сколько уже спарсилось) И дальнейшее преждевременное завершение парсинга с выдачей результата
7) Парсер должен собирать только уникальные номера телефонов, что бы они больше не повторялись. То есть начал парсинг ---> пошел сбор уникальных объявлений во время САМОГО пасринга, и должны учитыватся результаты прошлого парсинга. Но так как я писал выше, что этот парсер я буду использовать с товарищем, нужно сделать так что бы у каждого была своя база спаршенных номеров.
8) Парсер должен выдавать результат в двух форматах, в exsel и vcf (формат контактов, что бы сразу импортировать в контакты телефона)
Искал ответственного исполнителя, на протяжении 2 месяцев, в итоге все писали что вот завтра уже точно все будет готово, но как вы понимаете, до сих пор жду "завтра"
Еще хотел сказать что времени больше чем 2 дня у меня нет.