Парсинг от 100 до 300 сайтов поэтапно.
Нужен парсер для сбора данных с сайтов:
1. Периодический парсиг одних и тех же страниц на сайтах, чтобы поддерживать их актуальность.
2. Выявление вновь появившихся страниц и их парсинг. На многих сайтах есть RSS (как вариант).
Требования к парсеру:
- Материал статей может быть не только на одиночной странице, но и на нескольких. Соответственно, нужны переходы.
- Парсить и импортировать различные элементы страницы в соответствующие поля таблицы.
- Желательно один парсер с возможностью сохранения индивидуальных настроек для одновременного парсинга всех сайтов.
- Работать не нагружая сервер, распределяя парсинг по времени и количеству запусков. Скорее всего нужна многопоточность. Сайтов и статей будет много.
- Импорт будет в базу MySQL.
Укажите примерную цену работы либо за один сайт, либо пакетом за 100. Можно сюда, можно в личку.