Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Парсинг урлов с гостевух

Скрипт должен грабить урлы с гостевух и форумов.

Рассмотрим работу скрипта на примере.

На входе файл с урлами гостевух url.txt

Скрипт доложен загрузить первый урл потом сграбить все внешние(не из этого домена) урлы

- если урл не грузится, то ждем 20секунд и переходим к следующему урлу

- если урл грузится, но он очень большой по обьему, то грузим 20 секунд и обрываем загрузки и грабим из того что скачалось

Грабим в память все внешнии урлы, но перед тем как сохранить их в файл нужно будет их отфильтровать на:

- чтобы не было доменов 2-ого уровня без папок и сабов

http://domen.com

http://www.domen.com/

- чтобы не было ошибок урле, так как в некоторых гостевухах присутсвуют урлы с ошибками

- проверяем урлы на наличие в файле delete.txt. Если сграбленные урлы есть в этом файле то удаляем их из памяти

- оставлять один урл, если урлы из одного домена и папки.

Например было несколько таких урлов

http://domen.com/zuka/htposa.html

http://domen.com/zuka/sdfsdf.html

http://domen.com/zuka/osihaz.html

оставляем один, без разницы какой

Написать можно как на перле так и на пхп.

Цену и сроки указывайте в своих предложениях.

16 лет назад
alfahost
NaN лет
17 лет в сервисе
Был
12 лет назад
Выбранный исполнитель
Tkachenko
35 летУкраина
17 лет в сервисе
Был
8 лет назад
16 лет назад
$30
  • Похожие заказы
  • $100

    Есть работающий интернет магазин, с базой товаров около 2000 едениц. На нем работает парсер (сравнивает наличие товара с поставщиком). (движок на основе joomla) Есть еще 2 сайта, но они пустые. На одном движок shop script premium, ...

    Завершен
    16 лет назад
  • Необходимо спрограммировать скрипт автомобильной доски объявлений. В наличии дизайн доски объявлений, техническое задание. Скрипт надо создать используя настройку дизайна (при помощи смарти) и с использованием псевдостатики. Желателен опыть создания досок объявлений. Указывайте сроки и стоимость выполнения ...

    Закрыт
    16 лет назад
  • Существует сайт "www.chersa.ru". Ему нужна некоторая программная доработка. Затем - продвижение в сети. Необходим программист, способный: разобраться в имеющемся программном обеспечении сайта, осуществлять консультации по управлению им, создать недостающие страницы.

    Закрыт
    16 лет назад
  • На первый взгляд, веб-сайты кажутся полностью функциональными. Данный проект предназначен для простого общения в сети. Мы будем разрабатывать различные сайты, используя такой вид связи и другие модули. А теперь хотелось бы поинтересоваться встречались ли вы ...

    Закрыт
    16 лет назад
  • $800

    Требуется программирование сайта SMC - библиотеки нормативных документов. На PHP и MySQL Четыре основных модуля. - Каталог организаций, Контент, Страницы, Реклама. Особенность - Несколько языковых версий. Русский, Английский, Французский, Иврит, Арабский. Писать на этих языках ничего ...

    Закрыт
    16 лет назад
  • Всем привет! Задача такая: существует PHP-сгенерированное изображение на странице (тоже PHP-сгенерированной, но это не важно). Необходимо средствами Perl скачать эту страницу, текстовое содержимое сохранить в одной папке, картинки- в другой папке. Это все. Надо сказать, что ...

    Закрыт
    16 лет назад
  • Концепция сайта: Файловый сервис – аналог @filepost.ru. Позволяет пользователю сразу после регистрации на сайте получить квоту дискового пространства (по умолчанию – 3Гб), в пределах которой он может бесплатно закачивать файлы на ...

    Закрыт
    16 лет назад
  • $7

    Имеется функция JavaScript для скроллирования блока. Нужно добавить между стрелочками скролл-бар. Стрелочки и бар — рисованные, не автоматические, overflow:hidden вобщем. Кого заинтересовало предложение, оставляйте пожалуйста ваши icq. Извините господа, бюджет сегодня небольшой.

    Закрыт
    16 лет назад