ТЗ на разработку парсинга для сайта по авиабилетам

ТЗ на разработку парсинга для сайта по авиабилетам

Сайт на CS Cart

Что нам нужно:

У нас есть страницы - Город Вылета-Город прилета их IATA-код

Нам нужно для каждой страницы получать контент с сайта которые предоставляет эти данные по API и записывать эти данные в sql таблицу раз в день по крону чтобы были всегда актуальные данные. Возможно есть другое решение, но не генерировать при загрузке страницы решили потому что будет долгая загрузка контента и могут быть ошибки при выводе контента.

Я вижу эту систему так. Есть файл на сервере который запрашивает данные - полученные данные записывает в нужную ячейку таблицы (ее код это код вылета-код прилета) то есть в общем очень удобно в этом плане организована таблицы и ничего сопоставлять не нужно будет.

Всего таких страниц для которых нужно будет запрашивать и потом записывать данные

220 000 шт.

Ссылка на ТЗ

https://docs.google.com/document/d/11LPbuNkadptFLGQrdSJ9nv0wybgRrO3av96SN9FYOj0/edit?usp=sharing