Доброго утра. Есть парсер который парсит объявления на Avito через телеграмм бота, написан он на python3.8
Нужно решить следующуе проблемы:
1) Устранить неисправность, когда я паршу больше 10000 объявлений (или даже меньше), при запуске команды systemctl status bot выходят ошибки 403, это не может возникать из за прокси так как я использую мобильные прокси мультипорт, со сменой ip каждый запрос. И когда парсер работает долго, то выходит ошибка 403. Я думаю что срабатывает антифрод система авито.
Мнение прошлого разработчика :
Скорее всего проблема в паре fingerprint (однако я использовал множество различных) и вашим прокси.
Однозначно сказать нельзя.Повторюсь, с прокси все хорошо, работают нормально.
Вот желательно и пофиксить и найти решение этой проблемы. А то парсер с этим недочетом работает через раз.
2) Так же посмотреть почему мало результатов парсинга, например из 10000 тысяч объявлений с фильтром по 1 объявлению у продавца выходит всего 150-200 объявлений, я думаю это очень мало.
3) А так же за доп плату, если у вас получится оптимизировать бот и ускорить его работу я готов платить отдельно.
4) Сделать так что бы парсились только уникальные номера телефонов, (можно сделать привязку к каждому юзеру телеграм бота)
Сбор данных с сайтов которые указывает пользователь в программе, сортировка этих данных в процессе сбора и сохранение их по текстовым файлам. Программа пapсеp. Что бы не возникало недопонимания и если что-то непонятно или у вас есть ...
Приветсвую! Ищу специалиста по Java для выполнения задания по учебному проекту по распределенным системам. Есть 3 сервера: - сервер почты (не написан, всего 6 инструкций для управления полученными сообщения) - сервер мониторинга (дописать, отслеживает количество отправленных сообщений ...
Проверить сколько человек поставили лайки по хэштегу Все ли,кто взял хэштег, пролайкали по нему посты и в каком количестве (можно процентное соотношение)
Срочно требуются [b]Middle и Senior Python специалисты[/b] для доработки покерного подсказчика. [b]Что необходимо делать:[/b]Производить распознавание видео потока с Android устройства и выдавать json массив, содержащий информацию об имеющихся картах, балансах игроков и их действиях.Далее полученные данные ...
Помочь создать программу
Есть сайт: [url=https://sede.administracionespublicas.gob.es/icpplus/index.html]https://sede.administracionespublicas.gob.es/icpplus/index.html [/url]Надо на нем автоматизировать действия. 1 этап: выбор провинции 2 этап: выбор конкретного пункта из списка 3 этап: ввод данных человека Промежуточный этап: решение капчи (используем capmonster.cloud и RuCaptcha) 4 этап: поймать свободное время записи 5 этап: выбрать доступный офис ...
Есть приложение под Win, которое позволяет раскрашивать папки в разные цвета радуги. Нужно примерно такое же, только для MacOS. Нужен разработчик на Swift, который может написать подобное и хорошо понимает архитектуру MacOS. Классно, если до ...
Нужно создать кнопку которая будет открывать программу передавать туда данные (заполнять) и возвращать в Б24 файл после закрытия программы нужна кастомизация в сделках (добавить кнопку которая открывает программу (3CAD) и файл возвращается обратно через АПИ ...
Необходимо создать простой! интернет магазин на springпоэтапно по видеосвязи, объясняя код от и до, отвечая на появившиеся вопросы. СОЗДАНИЕ ИНТЕРНЕТ-МАГАЗИНА 1. Отрисовать страницу, используя Rest или Thymeleaf, на которой отображаются товары по категориям с наименованием, описанием, ценой, фото ...