Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Нужно написать (можно использовать сущ. крулеры, сайтмап генераторы или парсеры) краулер для сканирования страниц большого кол-ва страниц.

Основные требования для краулера:

1. Проходит все страницы и находит все ссылки.

2. Сканирует страницы на error, warning, notice (а также пустые страницы). Находит ошибки 404, 500, пустые страницы и т.д. (сохраняет урл источника)

3. Работает с таймаутом

4. Генерирует сайтмап (учитывает disallow в robots.txt)

5. Генерирует файл с ошибками

6. Кодировка UTF-8

13 лет назад
P2P
39 летУкраина
16 лет в сервисе
Был
год назад
34 отзыва
Выбранный исполнитель
nifus
Иван 
38 летРоссия
18 лет в сервисе
Был
9 лет назад
13 лет назад
$60
4 дня
Александр профессионально подошел к решению поставленной задачи. Работа выполнена оперативно и качественно. Мастер работает по призванию.
Отличный заказчик, никаких проволочек. Хороше техническое задание и быстрая оплата
  • Похожие заказы
  • $50

    Есть сайт на ShopCMS Необходимо php парсер изображений товара. Имеются 2 сайта донера, общие совпадения это артикул товара. Первый этам, делаем парсер для первого сайта, более простой. После выполенния задания, приступаем за второй сайт. Оплата яндекс.денгами, предоплата только исполнителям ...

    Закрыт
    13 лет назад
  • Программирование сайта нужно сделать преогромную часть Программная часть сайта запрограммировать сайт макеты в приложение от вас сроки и бюджет товары экспортируются с 1С будет конвертироваться для базы как вам будет удобней в каком формате вы закажете макеты ...

    Закрыт
    13 лет назад
  • Нужно сделать ssl в virtuemart, он включен только выводитьсяна первос транице корзины а нужно сделать что бы на все корзине работало digitalok.com. Проблема в компоненте Joomsef? при отключеном работает все нормально. Пишите цену и сроки(сроки не ...

    Закрыт
    13 лет назад
  • $1000

    Ищем опытного программиста. Для доработки и исправлении багов сайта портала или небольшая соц сеть на самописном движке. Только с опытом подобных работ и хорошим умением разбираться в чужом коде . Портфолио обязательно.

    Закрыт
    13 лет назад
  • $50

    Есть готовый калькулятор java-script на html-страничке (файл в приложении) для расчета цены в зависимости от типа окна и размера. Задача: перенести этот калькулятор на Joomla 1.6 и сделать удобное изменение цен в калькуляторе для простого юзера. ...

    Завершен
    13 лет назад
  • $500

    Добрый день! Предлагается срочный проект: нужно создать калькулятор с отдельным дизайном и на отдельном хостинге. Можно предлагають услуги дизайна отдельно и услуги программинга отдельно, но лучше чтобы все сделали "одни руки". Идея по типу: http://www.artlebedev.ru/everything/mdmbank/kreditnadelo/ Но намного проще в ...

    Закрыт
    13 лет назад