[table]ЗадачаСобрать данные о вылетах и их задержках с сайта flightradar. 

Ниже приведён пример ссылки, с которыми придётся работать. 

[url=https://www.flightradar24.com/data/airports/dme/departures]https://www.flightradar24.com/data/airports/dme/departures[/url] 


Все данные нужно сохранить в таблицах. Для каждой даты создаётся отдельная папка, которая 
содержит информацию о полётах конкретного аэропорта, в названии файла используется код 
IATA данного аэропорта, например, для Домодедово - DME. Таким образом дерево файлов 
выглядит следующим образом, где названием файла выступает код аэропорта: 
... 
08.02.2018 ( folder ) 
-AAA.file 
-AAB.file 
-AAC.file 
... 

В файле содержится информацию о всех полётах, одна строка файла соответствует одной записи, например, для прикреплённого файла 
пример_окна.png первая строка раскладывается в файле следующим образом: 

Время вылета: 5:40 AM 
Фактическое время вылета: 5:42 AM 
Номер рейса - B2954 
Аэропорт прибытия - Minsk (MSQ) 
Оператор - Belavia 
Тип судна - B735 
Идентификатор судна - EW-252PA 


Каждый день парсер будет собирать данные за прошлый день со всех аэропортов. Для того 
чтобы получить данные о полётах очередного аэропорта достаточно заменить в адресной строке 
код аэропорта на код текущего аэропорта. 

Список всех кодов аэропортов можно получить по ссылке ниже. Соответственно, их тоже нужно будет спарсить: 
[url=http://www.galaxylogistics.ru/analitika/kodyi-aeroportov-mira-po-iata-iata.html]http://www.galaxylogistics.ru/analitika/kodyi-aeroportov-mira-po-iata-iata.html[/url] 

Так как мы парсим довольно большой объём данных, аэропортов в мире более 11 000 штук, то в случае прерывания парсинга, 
мы должны начинать парсить данные за определённый день не с начала ( аэропорт AAA), а с последнего обработанного( спарсенного ) аэропорта. 
Мы должны видеть текущий прогресс парсинга при запуске программы - например: 

Aeroport AAA is parsing ( remaining 11234 airports to parse ). 

Если файл не содержит записей, то сохранять на диск его не нужно, например за определённый день не было полётов с аэропорта AAA, тогда 
файл AAA за этот день присутствовать в папке не должен. 

Так как скорее всего возможны блокировки со стороны сайта из - за частого обращения к ним, то нужно предусмотреть 
механизм умного парсинга на случай блокировки. Нужно рассмотреть различные варианты блокировки(flightradar-ом) в 
частности по IP, по HTTP - заголовкам и предусмотреть программное решение для таких случаев. В частности в файле настроек 
парсера нужно иметь возможность настроить время задержки между двумя обращениями - минимальное и максимальное количество секунд, 
на деле же время задержки между двумя обращениями - случайное число между минимальным и максимальным значением из файла 
настроек. Возможно использование платных прокси - серверов для решения задачи или сеть tor. 

Программа не должна завершаться аварийно. Обязательные требованияРаботающая и компилирующая программа с исходниками, содержащая файл настроек. Программа не должна аварийно завершаться в случае блокировки сайтом, откуда парсим данные.
[/table]

[table]ЗадачаСобрать данные о вылетах и их задержках с сайта flightradar. 

Ниже приведён пример ссылки, с которыми придётся работать. 

<a href="https://www.flightradar24.com/data/airports/dme/departures" rel="nofollow noopener noreferrer" target="_blank">https://www.flightradar24.com/data/airports/dme/departures</a> 


Все данные нужно сохранить в таблицах. Для каждой даты создаётся отдельная папка, которая 
содержит информацию о полётах конкретного аэропорта, в названии файла используется код 
IATA данного аэропорта, например, для Домодедово - DME. Таким образом дерево файлов 
выглядит следующим образом, где названием файла выступает код аэропорта: 
... 
08.02.2018 ( folder ) 
-AAA.file 
-AAB.file 
-AAC.file 
... 

В файле содержится информацию о всех полётах, одна строка файла соответствует одной записи, например, для прикреплённого файла 
пример_окна.png первая строка раскладывается в файле следующим образом: 

Время вылета: 5:40 AM 
Фактическое время вылета: 5:42 AM 
Номер рейса - B2954 
Аэропорт прибытия - Minsk (MSQ) 
Оператор - Belavia 
Тип судна - B735 
Идентификатор судна - EW-252PA 


Каждый день парсер будет собирать данные за прошлый день со всех аэропортов. Для того 
чтобы получить данные о полётах очередного аэропорта достаточно заменить в адресной строке 
код аэропорта на код текущего аэропорта. 

Список всех кодов аэропортов можно получить по ссылке ниже. Соответственно, их тоже нужно будет спарсить: 
<a href="http://www.galaxylogistics.ru/analitika/kodyi-aeroportov-mira-po-iata-iata.html" rel="nofollow noopener noreferrer" target="_blank">http://www.galaxylogistics.ru/analitika/kodyi-aeroportov-mira-po-iata-iata.html</a> 

Так как мы парсим довольно большой объём данных, аэропортов в мире более 11 000 штук, то в случае прерывания парсинга, 
мы должны начинать парсить данные за определённый день не с начала ( аэропорт AAA), а с последнего обработанного( спарсенного ) аэропорта. 
Мы должны видеть текущий прогресс парсинга при запуске программы - например: 

Aeroport AAA is parsing ( remaining 11234 airports to parse ). 

Если файл не содержит записей, то сохранять на диск его не нужно, например за определённый день не было полётов с аэропорта AAA, тогда 
файл AAA за этот день присутствовать в папке не должен. 

Так как скорее всего возможны блокировки со стороны сайта из - за частого обращения к ним, то нужно предусмотреть 
механизм умного парсинга на случай блокировки. Нужно рассмотреть различные варианты блокировки(flightradar-ом) в 
частности по IP, по HTTP - заголовкам и предусмотреть программное решение для таких случаев. В частности в файле настроек 
парсера нужно иметь возможность настроить время задержки между двумя обращениями - минимальное и максимальное количество секунд, 
на деле же время задержки между двумя обращениями - случайное число между минимальным и максимальным значением из файла 
настроек. Возможно использование платных прокси - серверов для решения задачи или сеть tor. 

Программа не должна завершаться аварийно. Обязательные требованияРаботающая и компилирующая программа с исходниками, содержащая файл настроек. Программа не должна аварийно завершаться в случае блокировки сайтом, откуда парсим данные.
[/table]

Гость guest_15185123256998

Парсинг данных