Создание парсеров для www.ixyt.info
Несколько месяцев назад мы поставили такую задачу:
"…Существуют городские и многочисленныечастные сайты-афиши, размещающие анонсы различных городских мероприятий и
событий. Требуется создание простых программных роботов, которые могли бы из каждого такого сайта извлекать информацию и размещать ее в форме определенной базы данных: название, описание, адрес, время, первоисточник, координаты продажи билетов, картинки и т.п. Естественно, что для каждого сайта потребуется создание своего робота. Описанная задача не имеет ничего общего с хакерскими задачами: речь не идет о взломе чужих сайтов, а лишь об организации новой базы данных из имеющейся информации с согласия владельцев исходных сайтов. Все это нужно для наполнения информацией сайта www.ixyt.info..."
Задача была успешно решена одним из программистов (Ильдар: https://www.weblancer.net/users/mrPuh/), который переформулировал ее на профессиональном языке следующим образом:
Обязательныеусловия:
- php7
- mysqlnd + mysqli + подготовленные запросы
- запуск по Cron
Скрипт должен запустить парсеры и послеформирования csv-файлов импортировать их в БД.
- контроль работы парсеров по длительностиработы;
- проверка валидности данных;
- фильтрация данных и пр.
Цена каждого парсера 20 евро. Для старта исполнения ТЗ это маловато, но при переходе к "оптовым поставкам" это вполне адекватно сложности самой задачи. Ведь в перспективе наполнение сайта www.iXYt.info потребует создание сотен и даже тысяч аналогичных парсеров. Поэтому мы продолжаем поиск соответствующих программистов для сотрудничества с нами вместе с Ильдаром.
Конкретные сайты для создания парсеров к ним обсудим с конкретными претендентами после уточнения структуры БД и
ТЗ, которые вышлем по запросу.