Фрилансеры предложат решение вашей задачи уже через несколько минут!

Публикация заказа на фриланс бирже не займет много времени.

10 лет назад
Всеволод С.
32 года, Россия
15 лет в сервисе
Был онлайн 8 лет назад
10 лет назад

Нужно сделать, парсер который бы делал следующее:

В аксесс логах строчки запросов к нашему серверу, каждый запрос имеет параметр mag_did то есть индентификатор партнера.

В каждой строчки, есть параметр mag_ua - USER agent, я предоставлю список USER agent которых считать за ботов, и не считать по ним стату


В разреше каждого партнера мне надо пропарсить фаил и собрать следующую инфу

[Ключ партнера] =>
array(
[Ключ файла] =>
array(

'mag_sait_www' => Из переменной mag_durl=http://yandex.ru/file.phpdfsd Вытаскиваете название домена
'num_view' => 'Количество просмотров, просто сумма записей с mag_did отбросив ботов'
'ip' => 'Вот он: 127.0.0.1 - - [26/Jan/2010:01:45:00 +0300] "GET /partner/dealer.php?mag_durl=index.php&mag_did=1653&''

Предлагаю следующие параметры, описывать в конфиге в виде параметров которые должны быть найдены в строчках:
'num_in_cart=> 'Количество заходов в корзину, в ссылке должно msnm magaz=cart
'num_make_orders' = > 'В запросе чтобы был magaz=agree''


[Ключ products]=>array (По каждому mag_prodid посчитаться Количество просмотров)
[Ключ seo] => array (Ключ из файла бана ботов => Количество)
)
);


То есть пример лога:
127.0.0.1 - - [26/Jan/2010:01:45:30 +0300] "GET /partner/dealer.php?mag_durl=index.php&mag_did=5318&mag_version=101&magaz=info&mag_prodid=11945&mag_ua=Xap+Spider+Bot+2.0 HTTP/1.0" 200 127
127.0.0.1 - - [26/Jan/2010:01:45:30 +0300] "GET /partner/html/ver2/sales.php?url=index.php&col=2&man= HTTP/1.0" 200 -
127.0.0.1 - - [26/Jan/2010:01:45:30 +0300] "GET /partner/title.php?magaz=info&mag_prodid=1043&mag_model=P700 HTTP/1.0" 200 311

Я в конфиге пишу

script_stat=array('dealer.php', 'sales.php', 'title'.php)
И для каждого файла опишу настройки, какие собирать параметры (Те ключи которые я описал выше num_view итд)

То есть неапример для файла dealer.php - мне надо всю статус собрать, то есть все параметры что описал выше
Для sales.php только num_view

После распарсивания, фаил удаляется, а записи заносяться в базу:

а) Проверяете есть ли такой сайт в базе по выташеному боту
mag_sait_www
select * from affiliate_sites where affiliate_site='mag_sait_www'

Если нету делаете insert
insert into affiliate_sites(id
affiliate_id
name
affiliate_site
tick)
values
(
'',
mag_did,
Домен выташенный,
Домен выташенный,
3
)

После встапвки записи, делаем insert или update в таблицу affiliate_statistics
http://static.sotmarket.ru/screen/seva/20100128-uhr-144kb.jpg

insert если нету записей с date=Дата парсиньтя
update если есть


ICQ 997544

  1. Прием заявок
  2. Выбор исполнителя
  3. Выполнение заказа
  4. Обмен отзывами

Нет заявок

Другие заказы в категории «Веб-программирование»

Здесь заказчик и фрилансеры могут обсуждать заказ до начала его выполнения.
Фрилансеры могут участвовать в обсуждении только после подачи заявки.
Здесь заказчик будет контролировать выполнение заказа и общаться с исполнителем.
Доступ к этому разделу имеют только заказчик и выбранный исполнитель.
Все материалы этого раздела закрыты от поисковых систем.