Парсинг сайтов
Нужно сделать программу, которая будет:
1. посещать определенные сайты о недвижимости (в основном, доски объявлений, форумы, группы в соцсетях)
2. отфильтровывать НЕ интересующие нас объекты
3. по интересующим объектам собирать информацию (текст объявления, контактные данные, прикрепленные фотографии и пр.)
4. сохранять данные в структурированном виде в файл
Требования к программе:
1. настройка основных параметров через юзер-френдли-интерфейс
2. возможность добавлять/убирать сайты для сканирования
3. механизм избегания дубликатов
4. логирование результатов работы
Примеры сайтов, которые надо парсить: irr.ru, olx.ru, avito.ru, slando.ru
Т.к. программа будет внедряться поэтапно: сначала 5-6 сайтов (самые популярные), затем в течение нескольких месяцев добавим еще 20-30 сайтов (не самые популярные). Естественно, у каждого сайта будут свои нюансы, связанные с парсингом. Поэтому, уважаемые исполнители, откликнувшиеся на этот проект, пожалуйста, напишите предлагаемую Вами стоимость и сроки из расчета на 1 сайт.