Скрипт для проверки страницы на признаки +
Нужен скрипт на PHP 5.2.5 с работой на mySQL 4.1.22-standard (нужно, чтобы скрипт работал на хостинге с данными параметрами), который делает следующие вещи:
Берет из файлов длинные урлы, обрезает их, удаляет дубликаты (сверка с базой), добавляет в базу, парсит содержимое, проверяет на 2 признака, парсит ссылку, добавляет результат в базу.
Подробное описание:
В системе будет страничка с элементами управления:
«Добавить из папки upload» (добавляем урлы из файлов папки в базу, обработанные файлы удаляем)
«Запустить парсилку»
А также статистика:
Всего урлов:
Обработано: (тут выводим количество url со статусом 1 – таблица полей внизу описания)
1. Берем файлы из папки uploads и парсим их. В файлах записаны урлы в виде
http://sub1.site1.com/page32/page32.html
http://www.sub1.site1.com/page32/page33.html
http://sub2.site1.com/page32/page32.html
http://site2.com/page32/page32.html
Нужно для всех файлов
а. Очистить домены от хвостов и удалить дубликаты, а также привести все домены к одному виду записи. То есть на выходе будет список:
б. Удалить дубликаты - на выходе получаем
То есть в mySQL у нас будет таблица с уникальными доменами (2-го и 3-го уровня - субдомены одного сайта считаются уникальными)
2. Заходим на сайт по url1, проверяем страницу на наличие признаков1.
-Если признаки нашли (хотя бы 1 из списка), то ставим checkresult=1, если не нашли ни одного, то ставим checkresult=0.
-Если признаки1 найдены на сайте, то ищем признаки2. Признаки 2 – это текст, который является анкором ссылки. При нахождении текста из признаков2 мы выдираем его ссылку и вставляем в url2. Например признаки 2 содержат слово «Сафари сегодня» в одной из строк. При находжении ссылки вида Сафари сегодня
Мы дерем ссылку http://site.com/safari.html и сохраняем в поле url2.
-Меняем status на 1
Содержимое url1 запрашивается с сервера, а управляющий парсингом скрипт запускается с локала через веб-интерефейс. Каждый обработанный url1 – новая точка на выводе. Через каждые 100 точек выводится ID следующего обрабатываемого url1/всего url1 (ID идут, начиная от 1 и дальше). Пример: …… …100/85302…….. ..200/85302…
Должна быть возможность экспорта содержимого базы в файл .csv в папку data в виде:
url1;checkresult;url2;status
url1;checkresult;url2;status
Если поле url2 пустое, то строка для данной записи выглядит так:
url1;checkresult;;status
Должна быть возможность повторного добавления новых записей в таблицу с уже существующими там записями. При этом повторные url1 не добавляются – только уникальные. И для новых url1 ставится status= 0, чтобы при запуске скрипта только новые записи обрабатывались.
Таблица должна иметь поля:
url1 (значение - проверяемый домен), checkresult (результат поиска первых признаков - 1 (найдены), 2 (не найдены), url2 (ссылка на внутреннюю страницу, найденная по 2-м признакам), status (1 - обработан, 0 - не обработан)
Признаки1 находятся в файле priznaki1.txt
Признаки2 находятся в файле priznaki2.txt
Параметры хостинга, где будет установлен скрипт.
PHP version 5.2.5
MySQL version 4.1.22-standard