Написать парсер на php
Нужно написать парсер сайтов.
Необходимо создать вебинтерфейс для работы с парсером.
добавление неограниченного количества доменов для одновременного парсинга.
Сбор и отображение статистики (тоже в вебинтерфейсе):
- страниц найдено
- страниц обработано
- почт собрано
Возможность скачать результаты в формате .txt (разделитель - перенос строки\r\n)
Функционал/Возможность настроек следующих условий:
1. Можно ли уходить с домена?
если нет, то реализовать возможность задавать:
- уровень вложенности парсинга
- слово в url
- логическое условие и/или
если да (можно уходить с домена) то реализовать возможность задавать:
- уровень вложенности парсинга
- слово в url
- логическое условие и/или (1 ко многим)
- список доменов исключений (регулярное выражение *.domain.com)
2. Сбор почт осуществлять из mailto: и в plaintext
3. Задание стоп доменов и стоп слов в адресе почты
4. Ограничения по количеству запросов на домен/час
5. Блокирование парсинга домена при ответе сервера отличного от заданого (мы задаем ответ сервера 200 или 404 или другой)
6. создание настроек по умолчанию
7. reset домена (удаление из БД результатов парсинга)
Предпочтение отдается фрилансерам из Днепропетровска.
от Вас стоимость и сроки.
доп вопросы в ЛС, готовы к диалогу/разъяснению ТЗ