Парсер монет fcoins.ru
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.
Однопоточный парсер контента сайта fcoins.ru
Требования:
- сохранять все категории и их изображения
- парсить таблицы каждой категории (всего 3 разных типа таблиц)
- парсить данные страницы монеты з каждой таблицы категории
- парсер должен запускаться по крону, лимит одного исполнения - 5 минут
- парсер не должен парсить одну страницу дважды за один день
- одна страница (таблица, или монета неважно) должна парситься раз в день
Реализация:
- разделено все действия парсинга на этапы, зависими друг от друга
- этап испольняеться один за другим последовательно
- этап проверяеться на время старта и финиша, если завершено
- в начале каждого этапа рассчитывается количество уникальных записей в нем
- парсинг каждой записи этапа логируеться на время старта и финиша
- парсинг настроен так чтобы все этапы исполнились раз в день и не больше
- крон скрипт не принимает никаких параметров, вся логика внутри
Скриншот это небольшая readonly админка для просмотра статусов парсинга этапов в текущего дня.
