Общее описание.
Система предназначена для сканирования сайтов и поиска по тексту страниц. Расчетное количество сайтов в индексе - до 1 млн.
Административный интерфейс.
Поиск
Сайты
Статистика
Настройки
Парсер
Дополнительные страницы
Пользователи
Поиск.
Список запросов и результатов по ним.
Панель: добавить.
Фильтр: текст, статус.
Колонки: текст, дата-время запуска, дата время окончания обработки, количество результатов, страниц обработано, "перезапустить", "редактировать", "удалить".
Групповые операции: перезапустить, удалить.
Сайты
Список сайтов для индексации.
Панель: добавить, добавить пакетно.
Фильтр: УРЛ, статус, ошибка
Колонки: ID, УРЛ, внутренние страницы, дата-время обработки, статус, "перезапустить", "просмотр", "удалить"
Групповые операции: перезапустить, удалить.
Статистика
Статистика работы парсера:
Длина очереди, скорость обработки (последние 10 минут), статус парсеров (количество потоков).
Настройки
Парсер
Количество потоков
Макс очередь
Мин очередь
Размер порции пополнения очереди
Дополнительные страницы
Список признаков страниц для выбора дополнительных (регулярные выражения)
Пользователи
Список пользователей админки
Описание работы
Скрипт с заданной периодичностью сканирует указанные урл сайтов (главные страницы) + при первом заходе (или ошибке получения ранее выбранной) выбирает все ссылки с главной старницы, проверяет их на принадлежность шаблонов заданных в настройках, первую подходящую так же скачивает.
После сканирования исходный код страницы укладывается в индекс по которому осуществляется поиск по регулярному выражению в фоновом режиме. Результат поиска список страниц/сайто где найдена подходящая регулярка.
Парсер работает в многопоточном режиме и умеет обрабатывать ХТТП редиректы и ошибки.
Технические характеристики.
Обработка со скоростью от 10 страниц в секунду.
Установка на выделенный сервер.
Добрый день, уважаемые коллеги! В команду требуется программист с уверенным знанием фреймворка Yii. Работа удаленная. В предложениях указывайте: - опыт работы с Yii; - страна, город; - примеры Ваших работ с небольшим описанием: фронт проделанных работ в данном проекте, время ...
Ищу специалиста по ShopCMS 1. Нужно добавить на сайт модуль экспорта товара в формате Яндекс-маркет. 2. Нужно изменить вид и расположение кнопок дополнительных сервисов «Помощь онлайн», «Фильтр товаров». Сайт rodnik.in.ua
Необходимо разработать движок рекламной площадки под Mixmarket.biz. Дизайн есть. CMS должна работать под большими нагрузками (во время обновления контента, ежедневно обновляются несколько миллионов товаров). Можно использовать уже существующие движки, но дорабатывать их до моих требований. ...
Есть форма обратной связи на сайте (в приложении файлы); надо в неё вставить возможность отправки экселевского файла (xls) т.н. бланк заявки от вас цена
Имеется магазин на битрикс, из 1С регулярно выгружают номенклатуру на фтп после чего по крону производится ее импорт на сайт. Удаленные из номенклатуры позиции продолжают оставаться на сайте – это описание проблемы. У кого есть ...
Требуется написать движок для веб проекта. Движок должен позволять работать как веб версии так и мобильной версии сайта. То есть пользователи будут как с дестопов так и с мобильных устройств. Подробней с требованиями проекта можно ...
И так надо на базе уже имеющегося скрипта поиска песен переделать на новую основу. То есть организовать поиск музыки через вконтакте API. Так же на сайте есть жанры и надо будет по API присвоить жанры. ...
Необходимо поправить скрипт отправки сообщения с сайта. Вот сама страница: http://rakuena.com.ua/sm/index.html После ввдения контактов, надо: 1. Писалось спасибо за регистрацию 2. Попадало на почту администратора. От вас: 1. Сроки 2. Цена 3. Скайп
создать скрипты общения с клиентом Тематика - ветеринарный центр, опыт работы обязателен. Примеры тоже. Прием звонков, запись в клинику или прием заявок для выезда врача. Пишите сроки, опыт и цену