Парсер монет fcoins.ru

Веб-программирование
434 просмотра
24.09.2016
10b8201342.jpg
1274×701362 КБ
3bae0b8c7c.jpg

Однопоточный парсер контента сайта fcoins.ru Требования:  - сохранять все категории и их изображения  - парсить таблицы каждой категории (всего 3 разных типа таблиц)  - парсить данные страницы монеты з каждой таблицы категории  - парсер должен запускаться по крону, лимит одного исполнения - 5 минут  - парсер не должен парсить одну страницу дважды за один день  - одна страница (таблица, или монета неважно) должна парситься раз в день Реализация:  - разделено все действия парсинга на этапы, зависими друг от друга  - этап испольняеться один за другим последовательно  - этап проверяеться на время старта и финиша, если завершено  - в начале каждого этапа рассчитывается количество уникальных записей в нем  - парсинг каждой записи этапа логируеться на время старта и финиша  - парсинг настроен так чтобы все этапы исполнились раз в день и не больше  - крон скрипт не принимает никаких параметров, вся логика внутри   Скриншот это небольшая readonly админка для просмотра статусов парсинга этапов в текущего дня. https://www.weblancer.net/projects/769584.html
HTML