Парсер авиарейсов
Требуется использовать массив прокси-серверов с логинами и паролями. Будет 200-300 серверов
Нужна возможность добавлять направления перелётов, это можно делать например задавая начальный и конечный аэропорты. При этом у Москвы несколько аэропортов и у них там есть обозначение, мол все аэропорты Москвы. И человеческое название города вылета и прилёта.
Для каждой даты начиная с завтрашнего дня и до 1 года вперёд нужно перебирать стоимости вылетов на 3, 4, 5…, 14 дней. Интересуют только билеты туда-обратно на одного взрослого. Интересует два варианта с пересадкой и без. В базу помещать цену в евро и ссылку на страницу результатов поиска. При этом цену лучше брать не из первой строки, а из окна, открывающегося по клику на ссылку Реквизиты в первой строке результатов. Там цена точнее
Парсер должен обходить все заданные перелёт раз в сутки (например, после полуночи) обновляя цены.