Доработать парсер на python для Avito.ru / Побороть блокировку запроса
Доброго утра. Есть парсер который парсит объявления на Avito через телеграмм бота, написан он на python3.8
Нужно решить следующуе проблемы:
1) Устранить неисправность, когда я паршу больше 10000 объявлений (или даже меньше), при запуске команды systemctl status bot выходят ошибки 403, это не может возникать из за прокси так как я использую мобильные прокси мультипорт, со сменой ip каждый запрос. И когда парсер работает долго, то выходит ошибка 403. Я думаю что срабатывает антифрод система авито.
Мнение прошлого разработчика :
Скорее всего проблема в паре fingerprint (однако я использовал множество различных) и вашим прокси.
Однозначно сказать нельзя.Повторюсь, с прокси все хорошо, работают нормально.
Вот желательно и пофиксить и найти решение этой проблемы. А то парсер с этим недочетом работает через раз.
2) Так же посмотреть почему мало результатов парсинга, например из 10000 тысяч объявлений с фильтром по 1 объявлению у продавца выходит всего 150-200 объявлений, я думаю это очень мало.
3) А так же за доп плату, если у вас получится оптимизировать бот и ускорить его работу я готов платить отдельно.
4) Сделать так что бы парсились только уникальные номера телефонов, (можно сделать привязку к каждому юзеру телеграм бота)
Заявки фрилансеров

