Серия распределенных парсеров – №150225
Фрилансеры предложат решение вашей задачи уже через несколько минут!
Публикация заказа на фриланс бирже не займет много времени.
1. Имеем - готовый парсер одного онлайн-сервиса на php. Требуется переделать в распределенный высокопроизводительный парсер, работающий одновременно через определенное количество IP-адресов (количество в районе двухзначных чисел скорее всего) и порождающий несколько потоков относительно каждого IP-адреса.
Схема реализации - центральный скрипт, "выдающий задания" + дополнительные парсеры-"рабочие". Или ваш, более эффективный вариант. Простейший вариант реализации через прокси - не обеспечивает необходимой производительности, если вы не маг и волшебник.
Нагрузки - достаточно высокие, каждый подключенный IP-адрес - должен выдавать приблизительно 1.6 запросов в секунду к сервису и порядка 5кб\сек поток готового контента (после парсинга полученной информации). Соответственно, жесткие требования как к самой реализации, чтобы была приспособлена к такой работе, так и к методам\коду, чтобы были адекватные требования к железу.
Желательна реализация на php. Для этого скрипта возможны другие варианты при грамотном и полном обосновании преимуществ.
2. Парсер-чекер Яндекс.Вордстат. Пробивка частотности запросов. Тут задержки большие, поэтому спокойно можно реализовать через элементарный вариант скриптов-мини-проксей, раскиданных по разным Ипам.
3. Парсер-чекер выдачи Яндекса\Гугла\Рамблера. Ряд простейших функций в виде проверки индексации, сбора УРЛов из выдачи и прочего. Создание возможности удобного использования внешними скриптами (вполне вероятно, вами же в будущем и написанными). Ситуация с реализацией аналогичная. Только в дополнение к простому хождению по выдаче - должна быть поддержка работы через XML Яндекса. Готовые скрипты, полноценно работающие с XML есть в открытом доступе. Впрочем, и остальное тоже.
3.1. И на десерт мороженое. Скрипт для ведения статистики индексации по большому количеству сгруппированных сайтов на базе этой системы + ещё мелочи. Фактически - можно просто приделать работу с системой к скрипту http://talk.maulnet.ru/topic28784.html и немного допилить (периодический автозапуск опроса с сохранением статистики).
К главному. Ищется профессионал в своём деле, а не просто кто-то умеющий программировать. Если работа качественно и своевременно завершается - данные скрипты становятся началом длительного сотрудничества (основное направление - php). Интересуют только предложения на выполнение всех трёх с половиной заданий, ибо последние два написал бы и я.
Код должен быть приличным - как минимум настолько, чтобы не возникало желания его изучить =)
Тестирование готового произведения искусства - основательно ложится на вас. Я допускаю нахождение багов в процессе эксплуатации, но не сдачу полностью сырого продукта, который валится за несколько минут беглого просмотра.
Оплата - по факту сдачи или через СБС. Поэтапно - за каждый скрипт для взаимного удобства и спокойствия.
Отписывайте сразу предпочитаемые способы реализации (предложения скрыты - не стесняйтесь; личка тоже приемлема) и цены за каждый этап.
Желательно - некое количество саморекламы в виде указания опыта работы и портфолио.
Бюджет указан приблизительный - возможны значительные корректировки в любую сторону)
- Прием заявок
- Выбор исполнителя
- Выполнение заказа
- Обмен отзывами
Нет заявок
Другие заказы в категории «Веб-программирование»
Кто может сделать подобный скрипт под XOOPS.
Пожелания:
- предпочтения ... Читать дальше
Пожелания:
- предпочтения Москвичам, людям которые в дальнейшем не исключают переход на постоянную работу по данному (и не только) проекту. - это пожелание, а не требование.
От Вас на данном этапе:
Вопросы
Cроки
Cтоимость
Резюме
Варианты написанного Вами кода - обязательно
ТЗ прилагается. Свернуть
Рассмотрю все предложения, вышлю ТЗ при наличии заинтересованности в разработке и оглашении примерной стоимости проекта.
Требования
Дизайн: желательно иметь опыт в дизайне аукционов, но это не главное, подойдёт дизайнер без такого опыта. Обязательны ссылки на портфолио.
Вёрстка: Опыт кросс-платформенной вёрстки. Опыт вёрстки с использованием чужих дизайнерских решений.
Начало работ: Немедленно после принятия решения о заключении договора на разработку
Сроки: Сжатые
Поддержка после сдачи проекта в эксплуатацию: Весьма желательна Свернуть