Нужен специалист по парсерам

Техническое задание на программу (П)

«Парсер работных сайтов; обработка в базу данных; рассылка mail/sms (Skype/ISQ)»

1. первоначально планируется работа П с работными сайтами: hh.ru, superjob.ru, job.ru,

2. П должна уметь делать много процессов-«отборов» (О) одновременно и регулярно/постоянно,

3. при входе в П выбор «войти (логин-пароль)/зарегистрироваться», т.е. предполагается работа нескольких пользователей и админа,

4. пользователю предлагается открытие нового О или работа с уже начатым,

5. каждому О предлагается присвоить наименование, и автоматически указывается дата и время начала,

6. открытые аккаунты регистрируются в П с указанием наименования, сайта, даты и время, с возможностью их закрывать для использования и открывать,

7. при работе с О предлагается выбрать с каким сайтом будет проводится работа (с возможностью выбора всех указанных выше) ИЛИ — И выбирается какой аккаунт будет использоваться при О,

8. П должна иметь те же критерии для парсинга, что и сами сайты,

9. проводится отбор из всей массы размещенных резюме задаваемого количества (от 100 до ***) по заданным параметрам (отрасль, возраст, пол, опыт, национальность или фамилия – чтобы избежать мигрантов – тут надо подумать) и ключевым словам,

10. (при этом может возникнуть проблема – на некоторых сайтах вроде как есть лимиты на количество открываемых контактных данных в день (допустим 500), но я знаю на 100%, что это как-то обходят (абсолютно точно, и не какие-то хакеры, а обычные программисты), планируется открывать в среднем от 1 до 4 тысяч резюме (в день с одного аккаунта), причем от имени крупных компаний, поэтому проблем быть не должно. Скорее всего проблему решит обнуление куков после каждых 400 открытых резюме)

11. О может быть много, в случае запуска с небольшими перерывами в одном регионе по примерно одним параметрам необходимо предусмотреть опцию, чтобы в массив не попадали одни и те же резюме, или, например, чтобы массив № 35 не пересекался с массивом № 29,

12. необходимо, чтобы ресурсы-доноры не узнавали, что каждый раз О от имени разных аккаунтов ведет один ресурс – замена IP/прокси или обнуление куков/кэша,

13. необходимо что при О резюме одних и тех же лиц с разных источников не попадали в массив,

14. нужно предусмотреть опцию, чтобы по одному О информация из разных источников заливалась в один массив,

15. каждому массиву присваивается наименование как у О,

16. далее формирование массива данных из отобранных резюме, в которых элементы резюме (Ф.И.О., телефон, пол еще какие-нибудь НАДО ПОДУМАТЬ) должны быть элементами учета, фильтрации. Это может понадобиться для поэтапного использования массива информации, чтобы сначала мужиков отработать, например,

17. имена, отчества из резюме должны быть использованы для именной рассылки,

18. в программе имеется функция, раскрывающая окно для введения текста мейл-рассылки (кроме обращения) со стандартными функция редактирования как в почтовых сервисах,

19. пользователь сам (или это он это делает в П?) открывает именной почтовый ящик на стандартных сервисах: яндекс, мейл, гмейл,

20. после того как сформирован массив и это видно! (Кол-во) и подготовлен текст письма пользователь выбирает почтовый ящик (или входит через П в него) и в П нажимает кнопку «рассылка старт»,

21. аналогично именная рассылка смс, скайп, аська: массив готов, окно куда забивается текст, способ отправки, кнопка,

22. Программа должна быть подходящей для работы неподготовленному пользователю (с понятной оболочкой), простой в эксплуатации, написана на общепринятом, общедоступном языке, работать с несколькими работными сайтами, быть приспособлена под работу с другими донорами, их постоянные изменения, введение дополнительных опции.