Парсер для hire.ua
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
Стек работ включал следующие возможности парсера:
Авторизация на нескольких разных сайтах-донорах, отправка поискового запроса и получение результата;
Использование прокси-серверов для скрытия реального IP (200+ адресов) ;
Из всех полученных результатов выбирался только нужный (критерии предоставил заказчик);
По каждому из нужных объектов парсил расширенную информацию, характеристики, фотографии.
Составлялся общий для всех доноров формат характеристик и наименований, приводил всю информацию с различных сайтов в единую базу;
Формировал единую для всех сайтов-донором географию городов, областей и районов;
Сохранял информацию в свою базу данных (объём базы - миллионы записей).
Дополнительно разрабатывал web-интерфейс для того чтобы у заказчика была возможность редактировать сохраненную информацию.
Оптимизировал всю полученную информацию, по полученным данным и отдельно формировал статистику.
Создал web-интерфейс для управлениями работой парсеров по каждому сайту-донору - запуск-остановка, статистика работы парсера за час/день/месяц/год.
Создал web-интерфейс для управления работой прокси-серверов (добавление, удаление, проверка работоспособности прокси-сервера).
