Доработать парсер на python для Avito.ru / Побороть блокировку запроса

Гость4 года в сервисе
Данные заказчика будут вам доступны после подачи заявки
20.11.2020

Доброго утра. Есть парсер который парсит объявления на Avito через телеграмм бота, написан он на python3.8

Нужно решить следующуе проблемы:

1) Устранить неисправность, когда я паршу больше 10000 объявлений (или даже меньше), при запуске команды systemctl status bot выходят ошибки 403, это не может возникать из за прокси так как я использую мобильные прокси мультипорт, со сменой ip каждый запрос. И когда парсер работает долго, то выходит ошибка 403. Я думаю что срабатывает антифрод система авито. 

Мнение прошлого разработчика :

Скорее всего проблема в паре fingerprint (однако я использовал множество различных) и вашим прокси.

Однозначно сказать нельзя.Повторюсь, с прокси все хорошо, работают нормально.

Вот желательно и пофиксить и найти решение этой проблемы.  А то парсер с этим недочетом работает через раз.

2) Так же посмотреть почему мало результатов парсинга, например из 10000 тысяч объявлений с фильтром по 1 объявлению у продавца выходит всего 150-200 объявлений, я думаю это очень мало.

3) А так же за доп плату, если у вас получится оптимизировать бот и ускорить его работу я готов платить отдельно.

4) Сделать так что бы парсились только уникальные номера телефонов, (можно сделать привязку к каждому юзеру телеграм бота)

Заявки фрилансеров