Специализируюсь на разработке парсеров/грабберов/краулеров любой степени сложности. Использую Python, Scrapy framework, Selenium WebDriver и PyQt/PySide для GUI.
Возможности парсинга включают в себя:
- парсинг различных типов сайтов, включая те, которые используют динамическую загрузку данных, возможность эмуляции Ajax-запросов для получения необходимой информации, программное использование форм для логина для сайтов, требующих авторизации для доступа к данным
- возможность работы через прокси-сервера и TOR-сервера для избегания бана и увеличения суммарной скорости загрузки страниц
- экспорт данных практически в любом формате (Excel, csv, xml, json и прочие), а также в любые типы баз данных
- автоматическое распознавание простых капч, либо использование сервиса antigate.com для сложных
- возможность использования headless браузера PhantomJS и Selenium WebDriver для программного управления браузером и получения доступа к любой информации на сайтах, имеющих защиту от парсеров
- создание парсера в виде консольного или десктопного приложения для операционных систем Windows, Linux, OS X, либо в виде скриптов для запуска на сервере
Также разработка любых десктопных приложений и утилит с использованием Python.
