Добрый день, написание парсера для сайта.
- Рекурсивный сбор ссылок по маске запись в бд без дублей. Ссылка донор для паука http://sprashivai.ru/парсим ссылки: http://sprashivai.ru/{имя пользователя}/question/{ID сообщения}
- Проход по собранным ссылкам, сбор контента, проверка на дубли, очистка от мусора, тегов, урл привод к нужному виду (нижний регистр, 1 буква заглавная, на конце знак препинания), помечаем что ссылка уже обработаны. Результат парсинга записываем в бд. Комментарии к коду. Скрипт запускаем в CRON.
Прошу в комментариях указывать стоимость данной работы. Исполнитель будет выбран ближе к концу публикации 31.05.16 основываясь на отзывах и стоимости.
p/s изменил описание, добавил пример, но скрипт нужен гибкий, чтобы регулярками можно было настроить и для другого сайта, многопоточность приветствуется.
Надо спарсить с нескольких сайтов матчи, для которых сейчас есть трансляции, они помечены Live или находятся в спец. разделе на сайтах, затем перейти на страницу матча и спарсить ссылки на сами трансляции: ...
На сайте установлена галерея fotorama https://habrahabr.ru/post/133741/ Страничка с галереей http://tommy.1gb.ru/collection/al-jazar Она уже частично "допилена" под свои нужды. Что нужно реализовать еще: 1. Организовать листание с клавиатуры. 2. Сделать чтобы по клику https://s.mail.ru/JC2j/ep3wwqonW Открывалась текущая картинка. Ну и соответственно листалось как ...
Необходимо спарсить характеристики и описания для 100 000 товаров разных категорий. Источники информации - несколько десятков сайтов. На выходе должна получиться стройная база данных в формате excel с перечнем товаров и их характеристиками. Сайты и формат буду обсуждать ...
Нужно сделать клон сайта на поддомене. Сам поддомен и сайт в админке созданы. Но, похоже что-то не доделал, потому что на главной 404 в шаблоне магазина.
Необходимо добавить модули, навести порядок в коде и др.
Добрый день. Есть задача перенести готовое приложение Android (работа с шлюзом по TCP/IP протоколу) на web сайт. Сервер Linux (желательно с поддержкой win). Прием команды, сортировка, занесение в БД. Нажатие кнопки, отправка команды заданного формата ...
Есть LP. Нужно сделать форму обратной связи. Сайт на Джумле. Kartinzo.ru
Нужно написать FFmpeg фильтр, который накладывает видео(overlay, как в FFmpeg) и смешивает аудио(как amix в FFmpeg)
Нужно создать сайт похожий на coolsmartphone.com, и также скопировать 30 статей контента. Верхнее меню будет иметь такие елементы: Home, About, The Team, и также поле для поиска справа. Основное меню будет иметь те же пункты что и ...
Реализовать на MATLAB алгоритм построения интерполяционных сплайнов заданной степени и дефекта