Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Сразу говорю, что на зеннопостере/зеннобоксе вариант не подойдет. Нужно свое скоростное решение.

Алгоритм парсинга следующий:

1) Указывается аккаунт/список аккаунтов для парсинга

2) Парсер выпаршивает список подписчиков с этих аккаунтов в отдельный txt. Парсер должен показывать прогресс (общее кол-во подписчиков и сколько спарсило). Его можно остановить, спарсенные данные должны сохраниться в txt на момент остановки.

3) Загружается список подписчиков, и парсятся хэштеги, на которые они подписаны.

На примере. Парсер заходит в подписки каждого подписчика - http://joxi.ru/L21aoDIRpzBj2X , переходит в хэштеги и парсит раздельно, все хэштеги, на которые он подписан - http://joxi.ru/12Md6JIlYw9NmJ . Закрытые аккаунты пропускает. Если нет подписки на хэштег, то парсит следующего подписчика. Парсер должен показывать прогресс (общее кол-во подписчиков и у скольки спарсило хэштеги). 

4) Хэштеги собираются в 2 файла:

- общий, где они идут все списком

- сортированный. Т.е. если хэштег повторяется, то идет +1 по количеству. В итоге получается список уникальных хэштегов в выходном Excel, каждый из которых посчитан по количеству (количество выводится в соседнем столбце).

Парсер можно остановить, спарсенные данные должны сохраниться в Excel (хэштег | кол-во хэштегов) на момент остановки.

Парсер должен работать в фоновом режиме (не эмуляция поведения юзера через браузер, как у зенки). Должна быть возможность парсить через прокси.

Пару вопросов к Вам:

1) Насчет многотпоточности хочу услышать ваше мнение. Если работать из-под одного ip в несколько потоков, какой риск поймать бан или реджект от Инсты? Есть ли опыт парсинга в Инсте?

2) Если парсить в один поток, при скорости интернета 25 МБит/сек сколько примерно времени займет парсинг и сбор хэштегов 1000 подписчиков?

Жду Вашу заявку с указанием цены и срока и ответами на вопросы.

4 года назад
ekamenskiy
Каменский 
43 годаРоссия
13 лет в сервисе
Был
4 года назад
  • Похожие заказы
  • $300

    Необходимо сделать парсер номеров таксистов в приложении заказа Яндекс такси и Максим, с выгрузкой номеров по регионам. Файл в xls формате или txt. Могу оставить аванс, но после просмотра конкретного результата

    Закрыт
    4 года назад
  • Добрый день, нужно написать прогу, которая спарсит людей, которые поставили лайк на конкретный комментарий в посте в вк и также людей, которые поставили лайк на конкретный "клип"(короткие ролик) в вк.

    Закрыт
    4 года назад
  • Здравствуйте, настроить программу Avi-Tool. Не могу дать ума. Нужны знания которых у меня к сожалению нет. Если не возьметесь, то может есть знакомые у Вас которые смогут. С уважением

    Закрыт
    4 года назад
  • Здравствуйте Требуется сделать небольшую программу под win10 для удобной работы с определенными сайтами. Схема и детальная информация прикреплена к заданию.  Тестовые URL:  Окно 1: [url=https://creater.ru/win1.php]https://creater.ru/win1.php [/url]Окно 2: [url=https://creater.ru/win2.php?page=soft]https://creater.ru/win2.php?page=soft [/url]Готовы ответить на вопросы.

    Прикладное ПО1 исполнитель
    Завершен
    4 года назад
  • Проект типа учебного примера.  Необходимо разработать три модуля, в каждом одна...три функции, лаконично и понятно. 1. Клиентская часть. Соединяется с сервером (постоянное соединение tcp/ip). Отправляет другим подключенным клиентам и получает от них текстовые сообщения. 2. Серверная часть - ...

    Закрыт
    4 года назад
  • После обновления Битрикс24 правая часть сделки при переносе на новую воронку (сейчас настроено через копированиние сделки) затирается права часть сделки.  ТО есть, по смылу  у нас создается новая сделка с заполенными полями как в родительской сделке.  Необходимо ...

    Закрыт
    4 года назад
  • Краткое ТЗ   1. Программное обеспечение должно принимать в качестве входных данных изображение с разрешением «tif». Это изображение гистологического препарата, например Препарат.tif 2. Осуществлять поиск всех клеток, содержащихся в исходном гистологическом препарате — изображении, загруженном в пункте 1. Пример найденной ...

    Закрыт
    4 года назад