Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Требуется парсер контента. Укажите стоиомость и сроки выполнения.

ТЗ:

Есть txt файл с списком urlов разбитых через \n.

Собераем массив проходим циклом, удаляем пройденный URL из файла после завершения каждого вхождения.

В цикле:

- проверяем есть ли url в бд;

если нету:

- по хосту получаем ip;

- проверяем пренадлежит ли домен USA; - функция гео таргетинга есть;

если пренадлежит:

- проверяем (курл) код 200;

если код 200:

- Создаем карту сайта(глубина карты с лимитом 3 вхождения и до 1000 страниц), то есть спарсил с главной внутр. ссылки, пошол по ним парсить,

и еще раз по полученным(естественно ссылки уники);

после полученой карты сайта:

- парсим title, keywords, description, чистый текст без тегов, внутренние ссылки, внешние ссылки, email адресса;

Собераем в массивы по отдельности;

Внешние ссылки, email адресса прогоняем через array_unique;

mysql

В бд по каждому полю отдельная таблица;

url - ссылка сайта; поля (id,url)

email - привязаны к индексу url(id), каждый email добавляеться в отдельную запись;

in_url - внутренние ссылки,привязаны к индексу url(id); Поля (in_url_id, in_url(значение внутреннея ссылки), url_id);

title - привязаны к in_url по индексу; перед добавление необходим лимит до 250 символов

description - привязаны к in_url по индексу; перед добавление необходим лимит до 300 символов

keywords - перед добавление ключевых слов необходим лимит до 250 символов, и разбить на массив через знак ","

и добавить каждое отдельное слово в отдельную запись из полученного массива, привящанное к индексу in_url, это же касаеться и добавления out_url

out_url - внешние ссылки,привязаны к in_url по индексу, добавляються в отдельные записи;

12 лет назад
mciit
37 летУкраина
14 лет в сервисе
Был
11 лет назад
  • Похожие заказы
  • Задача 1 "Права администратора второго уровня" получает права на модуль Новости или Страницы но должен управлять только теми страницами которые создал он . Т.е. создаваемый админ не должен иметь возможность ...

    Закрыт
    12 лет назад
  • Магазин первый.http://lampa.pinguin.com.ua/category.php?id_category=6 не работает правильно скрипт сортировки по цене с бегунком. Раньше работал, но чтото глюкануло + не отображается в експлорерах... Магазин второй http://implant.pinguin.com.ua/category.php?id_category=54 добавление товаров осуществляется при помощи jquery - проблема в том, что ...

    Закрыт
    12 лет назад
  • $80

    на сайте нет карточки товара всё выведено не посредственно в саму категории товаров. в админке добавить второе поле Цена не должно быть обязательным для заполнения. вывод цен на сайте должен быть разным <Ярлык Карзины>4 шт. ...

    Закрыт
    12 лет назад
  • Требуются несколько скриптов для сайта (установить могу сам): - Постраничный вывод из базы данных; - Загрузка и вывод из базы изображений; - Регистрация пользователей; Все детально объясню! Контакт: skype: serhio916

    Завершен
    12 лет назад
  • Для сайта агентства недвижимости нужно написать модуль поиска. По схеме метро и поиск по районам по Москве на интерактивной карте. Примеры: www.kvartira-2000.ru/metr... a-realt.ru/rent_flat/orde... Параметры поиска с www.cian.ru/search.php?ob... Система управления data ...

    Закрыт
    12 лет назад
  • Добрый день, специалисты! Нужно написать модуль интеграции интернет-магазина на Drupal Commerce и сервиса moysklad.ru В реальном времени нужно чтобы заказы передавались с интернет-магазина в мойсклад, а из моего склада передавались изменения в остатках. Цена от Вас.

    Закрыт
    12 лет назад
  • Необходимо разработать плагин для всех популярных браузеров: FF, Opera, Chrome, IE8+. После установки в браузер такого аддона, в тулбар добавляется кнопка. Кнопка имеет два состояния: 1) по умолчанию; 2) "есть что-то новое". По клику на кнопку появляется popup-блочок (визуально примерно ...

    Завершен
    12 лет назад
  • $50

    Есть самописный движок сайта, сам сайт - http://_sveti.ru/. Необходимо в раздел с новостями (http://sveti.ru/index.php?module=news) на фронт-энде привязать список подрубрик из раздела "Каталог предприятий" (http://sveti.ru/index.php?module=cat) - он общий на весь сайт, и сделать возможность в админке добавлять ...

    Завершен
    12 лет назад