Разработка на JS/TS для оптимизации A-parser под низкую задержку
Цель: Существенно повысить скорость парсинга и минимизировать задержки (low latency) путем создания кастомных плагинов и оптимизации инфраструктуры для достижения максимально быстрого сбора данных.
Основные задачи:
Модификация A-parser: Оптимизировать конфигурацию и при необходимости внутреннюю логику A-parser для работы с минимальными задержками.
Разработка плагинов (JS/TS): Создать необходимые плагины для A-parser, которые будут способствовать ускорению парсинга.
Оптимизация инфраструктуры:
Помочь определить стратегию выбора ближайшего сервера к целевым эндпоинтам.
Подобрать и настроить прокси-решения для эффективной многопоточности (рассмотреть варианты с поддержкой UDP).
Адаптация логики: Использовать предоставленную Python-базу кода как референс для реализации аналогичной логики на JS/TS в рамках плагинов/модификаций A-parser.
Требования к кандидату:
Глубокие знания JavaScript (JS) / TypeScript (TS).
Подтвержденный опыт работы с A-parser (или очень похожими инструментами для веб-скрейпинга/парсинга).
Опыт разработки плагинов/расширений для парсеров или подобных систем.
Понимание принципов сетевых задержек (latency), оптимизации скорости парсинга.
Опыт настройки прокси для многопоточных задач (включая понимание HTTPS/SOCKS и желательно прокси с поддержкой UDP).
Опыт работы с асинхронным программированием.
Идеально (будет решающим плюсом):
Наличие конкретного, успешного опыта модификации именно A-parser для достижения low-latency парсинга.
Мы предоставляем:
Доступ к текущей настройке A-parser.
Готовую базу на Python как пример необходимой логики.
В вашей заявке:
Пожалуйста, подробно опишите ваш соответствующий опыт, особенно в отношении:
Модификации A-parser или его аналогов.
Проектов, связанных с низкой задержкой (low latency).
Настройке сложных прокси-конфигураций (особенно UDP).
Разработки плагинов для парсеров.
Переведено с помощью DeepL.com (бесплатная версия)
