Задача следующая: есть список из примерно сорока тысяч сайтов. Надо оббежать их по следующему алгоритму:
1) берем сайт из списка. Идем к нему на морду. На морде смотрим 20 ссылок ведущих внутрь тогоже самого домена(!). Лучше двигаться по коду сверху вниз. Результат - 21 случайная страница сайта.
2) Начинаем оббегать эти страницы и ищем на них объекты размером 300*600. Совершено все равно что это именно такое. картинка, фрейм, флешка - лишь бы 300 на 600. Тут потребуется минимальное знание или готовность сделать небольшой анализ на предмет найти в коде упоминание 300 и 600 неподалку друг от друга.
3) если такой объект найден, то конкретный УРЛ где найден откладываем в сторону с пометкой в таком виде: "domain.com \ domainc.com/etot-url.html \ кусок кода где 300 на 600 встретилось (скажем из размеров картинки)"
с одного домена нужна только одна такая страница. То есть если скажем прямо на морде нашелся требуемого размера объект - все, остальные страницы оббегать не надо.
Как только (и если) нашли 3000 таких УРЛов с 300*600 объектами - все, останавливаем процесс. Результатом должен быть список оббеганых урлов и список удовлетворяющих условиям согласно примеру ниже. Формат отчета - CSV читаемый экселем. Можно просто xls прислать.
Вопросы, буде таковые появятся, лучше всего отсавлять в имейл указаный тут http://www.weblancer.net/users/Mauser/ в профайле. самый простой способ получить работу как водится просто напросто сделать ее. если волнуетесь насчет времени требуемого на скан - просто пришлите уведомление что паук уже трудится и пример его трудов. Список сайтов для оббега тут приколот
Непременно указывайте сколько времени займет вся процедура! То есть до момента показа отчета.
Написать граббер на Perl: * получение параметров из коммандной строки и .ini файла (если определенный параметр получен из коммандной строки этот параметр из .ini файла игнорируется): --type(between, min, max, e2e) --start_date --end_date --verbose(выдается информация по состоянию выполнения: дата, тип документов, ...
Нужно доделать сайт strojinvest.com так, чтобы в нем все работало по образу и подобию сайта http://stepcon.ru/rus/ Т.е. нужно поставить и настроить соответсвующие компоненты в joomla! Модули не обязательно должны быть абсолютно теми же (даже совсем не ...
Написать граббер на Perl: * для предоставелных в таблице MySQL идентификаторов грабинг информации с "страницы идентификатора". * ведение статистики по среднему времени на одну обработанную запись Структура таблиц(ы) MySQL обсуждается дополнительно. Данный проект вплотную переплетается с открытой вакансией (Perl/MySQL ...
Требуется программист в коммерческий проект по разработке приложения для ВКонтакте. Требования: 1. Flash 2. AS 3 3. API вконтакте 4. Умение работать в команде Контакты : addminos в скайпе ...
Здравствуйте. Нужно набросать опросник на java Смысл такой: Выводятся поочередно вопросы с вариантами ответов В какой из перечисленных стран вы были прошлым летом Франция Италия Германия Ни в одной из перечисленных (вариантов ответов может быть разное количество, то есть юзер может выбрать Францию и ...
Нужно установить робокассу на сайт ( сайт на скрипте PHP) и сделать небольшую доработку некоторых блоков (подправить дизайн).
Привет для действующего сайта требуется скрипт на PHP , сбор статистики. мне нужен готовый скрипт статистики: хосты-хита, глубина посещений, даты, и т.д. реффереры, входы-выходы короче всё что можно) 2-3 дня работы, жду детальное описание возможностей скрипта и ...
Нужно сделать аналог www.formoda.co.uk с похожим дизайном. По функционалу все тоже самое кроме блога, новостей и регистрации аккаунта. Обязательно смена шапок и цветов шрифта, а также смена шапки и цвета шрифта на каждую работу в ...
Джумла виртуал март, нужно загрузить около 200 товаров с описанием и фото через таблицу через базу. Есть уже готовая таблица, но она не адаптирована к требованиям виртуал марта. Ваши предложения.
ТЗ. Сейчас есть: Главная страница. файл index.php выводится меню. Категория 1 категория 1.1 категория 1.2 Нужно чтобы выводилось: Категория1 категория1.1 при нажатии на категорию 1.1, в меню появлялась категория 1.2 Файл php который отвечает за вывод меню ...
