Скрипт отбора блогов

Общая задача:

Надо отыскивать блоги по темам и выдергивать контактную информацию владельцев с них или из ХуИза. Скрипт должен иметь простенький вебинтерфейс с авторизацией.

Порядок действий:

1. Оператор заводит список интересующих его кивордов и предельные параметры рейтинга и шаблон имейла.

2. Скрипт отправляется на API technotari и/или гуглевого поиска по блогам или Яховского или МСНовского или на все сразу – все равно.

3. Скрипт выдергивает наиболее соответствующие запросам оператора блоги* (пояснение этого момента будет в конце, это место просто звучит, но немного сложно делается)

4. Скрипт проверяет блоги на предмет запрещенных слов (fuck и так далее. Список запрещенных слов тоже вносится оператором) Эту часть можно убрать в первый пункт, если вы сделаете минимальную логику запросам. То есть к примеру “investment APR !bullshit” , то есть нас интересуют блоги где говорится про investment и APR, но не интересуют те, где упоминается bullshit.

5. Скрипт проверяет блоги на предмет Алексы рейтинга, Google PR и что там еще придумаете такого же. Не настаиваю на Алексе ибо у нее АПИ платный. Не то что денег жалко, просто возиться с аккаунтом лень.

6. Скрипт лезет в ХуИз и тащит оттуда данные владельцев доменов. Помимо этого скрипт лезет на сами блоги и ищет там контактную информацию владельца (Телефон выглядит шаблонно, имейл тоже)

7. В результате скрипт формирует отчет, какие Урлы он отобрал, какие там собраны контактные данные. На этом месте следует быть аккуратным. Если на страницесобрано много имейлов или много телефонов, то надо ставить пометку что не получилось мол выбрать, хотя они есть. Приветствуется простенькая логика, скажем если на сайте blogvasipupkina.com найден один имейл [email protected], а все прочие имейлы на других доменах, то этот info ставим в контакты, а насчет остальных ставим просто флаг что оператор руками может найти больше имейлов. Ну или имейл найден в подвале. Или на сранице контакт_ас. В общем это место проявить некоторую фантазию. Не страшно если вы пропусите какой-то блог и скрипт не справится найти там контакты.

8. Также скрипт должен поддерживать черные списки. То есть оператор пишет a) маски доменов, которым хуИз не проверять (что бы vasya.livejournal.com не получал в контакты хуИз лайвжурнала), б) черные списки владельцев доменов (что бы domainbyproxy убирать) и также по прочим полям. Важный момент: черный список означает не уделать внимание этому методу сбора контактов, а не бан блога вообще.

9. Раздобыв имейл скрипт, в соответствии с шаблоном (см пункт 1) шлет приглашающее письмо. Текст его составляет заране оператор используя макросы типа и тому подобное.

10. Каждый имейл будет иметь линк-приглашение. То есть человек по нему кликает и попадает на форму заведения данных. Если он хочет, то он заполняет данные, если не хочет, то покидает лавку соответственно.

11. Соответственно второй отчет, более полная версия первого. УРЛ, координаты и стадия: отправили имейл, не отправили, отправили, но никто не кликнул пока, отправили, кликнули, но не заполнили форму, ну и последнее, заполненная форма. И то, что в ней, соответственно. Отчеты должны быть экспортируемы в csv читаемый экселем.

12. Должен существовать простенький API на чтение. Что бы можно было тащить отчеты и результаты по нему. API с transaction key.

13. Авторизация операторов двухуровневая. Есть админ, имеет право на все. Есть оператор(ы). Имеют право на все, кроме создания новых операторов. Каждывй оператор получает свой транзакшн ключ к API.

14. Оператор должен иметь совсем черный список кууда вносить блоггеров (по урлам, имейлам и т.п. которым) писать ничего не надо. Помимо этого линк на отписку должен присутствовать в рассылаемых приглашениях. То есть нажав на него человек вносит свои данные в черный список сам.

15. Дополнительно приветствуется использование стандартных rss всяких отблогов для проверки чего там они о ком пишут. Подойдут ли оператору, в смысле.

16. Бесплатные АПИ имеют ограничения на обращения в сутки. Так что реально если вы фильтруя делаете к ним много запросов, то может оказаться что какое-то задание делается долго. На самом деле любое задание делается долго. Оно как бы ежедневное, повесили запросы по всяким автомобильным терминам и помаленьку у нас автомобильные блоггеры копятся. Соответствено все это должно делаться помаленьку, без спешки. Предел работоспособности системы будет порядка тысячи новых отобраных блогов в день, а реально всего сотни. Так что имейте ввиду что задания нужно как-то располагать на панели управления что бы опреатор видел что у него как долго тянется, что вырубить надо, а что пусть пока потащит данные еще.

17. Интерфейс на английском

По поводу коментария в пункте 3*. Дело в том, что способа сделать это идеально не существует. Надо просто проявить разумность просмотрев имеющиеся инструменты. Ориентироваться можно по плотности искомых кивордов в постах блоггера или как-то аналогично. Не страшно найти не очень подходящего блоггера, так что достаточно если несоответствие вашего алгоритма отбора не будет уж сильно резать глаз несоответствием. Идеального качества я не жду все равно, но хотелось бы что бы оно и не совсем случайно работало.

Что надо что бы получить заказ:

1. Прислать рамочно по пунктам что именно и где вы хотите использовать. То есть пишете что поиск инфы о блогах. Мне это надо что бы понимать что если вы хотите Х денег, и вася хочет Х денег, но вы за эти деньги будете искать АПИ технорати, гугля и лайва, а Вася только гугля, то вы выиграли.

2. Прислать рамочно какие рейтинги вы планируете использовать.

3. Прислать рамочно как примерно вы планируете фильровать отобранные блоги по контенту. Возможно (и наверное разумно) какие-то параметры вынести оператору, что бы он ими управлял для каждого задания.

4. Опишите рамочно что вы собираетесь помесить на панель управления что бы оператор видел как там его задания ползут, что приносят и как оно там вообще живо или померло. Эта часть мне нужна что бы убедиться что вы поняли задание.

5. Примеры из портфолио по аналогичным работам.

Оплата. Бюджет $2000 (разумно торгуемо), сроки не жмут, но тянуть не надо особо. Если вы мне хотите написать про полгода, но не стоит мучать пружинки клавиатуры. Называйте свои сроки, но потом выдерживайте их, пожалуйста. Предоплаты нету, но охотно используем СБС (сервис безопасных сделок). Предложения залога приветствуются (кто не знает: залог это аналогичный платеж на СБС с вашей стороны, конечно меньшей суммы, и если вы в процессе работы исчезаете, то он к вам не возвращается. Средство защиты от пионеров надеющихся на авось)

Предпочтительная платформа юникс-пхп-мускуль, но другие варианты рассматриваются. Сборка на вашем сервере, показываете, после показа переносим ко мне. Если у вас не на чем показывать, то не надо мне писать пожалуйста.

Если вас эта работа интересует, то пишите на mauserd(doggy)yandex.ru

Примечания:

1. не надо просить меня «пришлите полное ТЗ». То что вы читаете – достаточно полное. Если у вас остались вопросы, то пишите эти конкретные вопросы.

2. Постарайтесь написать так, что бы было понято что вы прочли то, что выше. Помимо хорошего вас мне напишет толпа спамеров-пионеров которые понятия не имеют что и как они будут делать. Мне будет приятно, если вы выделите себя из этой толпы.

3. Пожалуйста, посмотрите в профайл заказчика и сделайте хотя бы минимальный поиск преджде чем кидать писать мне что и как надо делать.