ТЗ: парсер продавцов/товаров с фильтрами и мультизапуском
Нужен специалист по web-scraping и антибот-защитам.
Сайт активно блокирует прокси и скраперы (постоянная CAPTCHA / редирект на антибот-страницы).
Нужно реализовать стабильный многопоточный парсинг с обходом DataDome / Cloudflare, чтобы сайт не возвращал ошибки (403 / 429 / captcha-loop).
Основные требования
1) Многопоточность / асинхронность
стабильная работа 40+ параллельных потоков (обсуждаемо)
контроль частоты запросов, очереди, backoff
без деградации производительности
2) Прокси
поддержка HTTP / SOCKS
автоматическая ротация при капче, бане, ошибках
возможность отдельного прокси на каждый поток
учёт репутации IP
3) Обход антибота
эмуляция реального браузера (Playwright / Selenium headless или аналог)
реалистичные заголовки, user-agent, cookies, задержки
получение и поддержание валидной сессии
автоматическое решение CAPTCHA (2Captcha / CapSolver или аналог)
4) Устойчивость
обработка блокировок и редиректов
авто-восстановление сессий
логирование ошибок и причин блоков
Технологии
Язык: Python (предпочтительно)
Результат
рабочий код / модуль
инструкция запуска и рекомендации по лимитам / прокси
подтверждение стабильной работы под защитой
детальней в личные сообщения
Заявки фрилансеров





