Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Требуется несложный по своей структуре скрипт проверяющий не забыли ли чего включить в гугль сайтмап. Основной вопрос, на который должен отвечать скрипт: "а не забыли ли мы включить в сайтмап чего?"

Конкретно следующее:

1) Пользователь указывает скрипту где у него google sitemap находится.

2) Скрипт идет по ссылке и забирает все гугль сайтмапы.

3) Скрипт натравливает своего краулера на сайт и собирает УРЛы с сайта.

4) Скрипт сравнивает какие из урлов ему удалось подцепить, но их нет в сайтмапе. Соответственно формирует отчет.

Скрипт должен быть завернут в простенький сайт у котрого есть

а) админ умеющий создавать новые аккаунты пользователям. Админ сразу сам себе пользователь имеющий право ставить новые задания.

б) собственно эти аккаунты имеющие право регистрировать новые сайты для проверки.

в) Пользователь должен иметь возможность указать периодичность проверки.

г) сайт предназначен для внутреннего использования, поэтому дизайн не нужен. Но интерфейс для работы должен быть удобным. Можете позаимствовать интерфейсное оформление из какой-то другой программы, я возражать не буду.

Детали:

1) Скрипт сперва собирает урлы, а потом дергает карту дабы избежать проблем изза долгого процесса сбора.

2) скрипт должен не падать на больших базах, так как проверяемый сайт может иметь пару миллионов страниц.

3) в скрипте должны быть встроены разумные ограничения. Типа если в какой-то диренктории найдено более миллиона страниц, то процесс для нее прекращать, так как видимо где-то зациклились, что-то там не так

4) аналогично с параметром. Если в УРЛе присутствует параметр и по нему уже миллион значений перебрано, то прекращать его дергать.

5) скрипт должен устраивать периодические самопроверки. То есть собрали 20000 урлов, дернули гугль сайтмап. Несовпадение 1 УРЛ. Показываем его и идем дальше. если несовпадение достигает к примеру 10000 урлов, то обрываем процесс и объявляем что "дохера несовпадений"

6) каждый найденный урл должен иметь пометку где мы его нашли. То есть если найдено какое-то site.com/asfasdf.html , то оператор должен иметь возможность найти на какой странице у него это чудо имеется.

7) результаты должны экспортироваться в CSV и показываться на сайте в разбиении постраничном, конечно. Должен иметься поиск по урлам.

8) надо запрашивать у гугла site:site.com , снимать количество страниц и показывать примерный прогресс работ своего бота собирающего УРЛы. Опасаться бана и фокусничать с проксями тут не надо, так как это будет редко запрашиваться

Для справки, что такое Гугль сайтмап - тут http://www.google.ru/support/webmasters/bin/topic.py?topic=13450 по-русски.

Платформа: только PHP, мускуль Апач.

Оплата: или СБС или по-факту.

Чем более полным будет ваш ответ, чем больше он будет отсоять от "стучите в аську, обкашляем", тем больше шансов что заказ уйдет именно вам. Мои координаты в профайле.

16 лет назад
Mauser
Тер 
50 летСША
17 лет в сервисе
Был
4 года назад
  • Похожие заказы
  • $1000

    Здравствуйте. Пришла пора менять сайт, стал вопрос кто? Вот и ищем опытных фрилансеров.... Что собственно надо? У нас рекламное агентство полного цикла... нужен сайт который в полной степени сможет отобразить все услуги, в том числе онлайн ...

    Закрыт
    16 лет назад
  • Размещение фото, описание, контакты, форум. С возможностью, все это довносить, редактировать, через админку (ребята не программисты). В идеале (по понятной причине), ничего не подъемного (для ребят).

    Закрыт
    16 лет назад
  • $100

    http://leonidsmirnov.ru/ Требуется сделать сайт под ключ с установкой "простой и понятной CMS" - материалы по сайту смотрите на http://leonidsmirnov.ru/ (ссылки там левые, на них не смотрите), и см.вложение к проекту - http://leonidsmirnov.ru/art-mat.rar

    Закрыт
    16 лет назад
  • $1000

    Создание сайта (под ключ) + дизайн визитки и лого. Сайт по продаже streaming videos по платной подписке. Язык – англ. Речь идет о продаже круглосуточного доступа. Сайт похожий на www.Lynda.com. Гость создает свой уникальный логин/пароль ...

    Закрыт
    16 лет назад
  • Необходимо создать кредитную биржу, направленную на информацию о заявках на получение кредитов а так же на выдачу кредитов участников платежных систем друг другу.(на данный момент реч идет только о вебмани даннаый сайт должен иметь платную основу ...

    Сайты «под ключ»1 исполнитель
    Завершен
    16 лет назад
  • Перед Вами страница: http://www.autoreg.su/articles/19 От вас требуется изменить дизайн страницы полностью (не меняя основной дизайн и изображение счетчика), изменить текст (текст должн быть таким, чтобы психологически потнциальный клиент хотел зарегистрироваться и оплатить регистрацию в каталогах) т.е. одним словом ...

    Закрыт
    16 лет назад
  • $2500

    Здравствуйте, Необходимо написать сайт аналог www.webmd.com по дизайну и функционалу. Под Ключ. Дизайн+Флеш интерактив+Программинг Основные моменты - 1. возможность показа видео с youtube rutube и собственных видеороликов 2. Статьи с обсуждениями форумами и блогами 3. Фотогаллереями 4. Регистрацией пользователей, профилей, ...

    Закрыт
    16 лет назад