Оптимизация кода. Doctype и meta. – №595860

Необходимо сделать Базу Данных (БД), парсер (записывающий в эту БД) и рассыльщик (простейший рассыльщик писем берущий информацию из этой БД, по заданной выборке).

Основные поля БД:

№ - номер записи
Дата добавления
Дата последнего изменения
Муниципальный округ++++
Сайт муниципального округа ++++
Подразделение (унитарное предприятие, комитет, отдел, управление, департамент и т.д.)++++
Адрес страницы подразделения (откуда взята вся информация) ++++
ФИО Ответственного
e-mail (подразделения) ++++
Телефон
Физический адрес


Специальные поля, если они необходимы,на усмотрение программиста.
Первые три поля к парсеру не имеют ни какого отношения, остальные заполняются за счет парсера. Поля с (++++) для нас ключевые и если с (Муниципальный округ, Сайт муниципального округа и Адрес страницы подразделения) все более менее понятно и просто, то вот остальные поля и являются камнем преткновения.

Что требуется от парсера, поиск этих полей. Список муниципальных сайтов по которым ведется поиск (при этом желательно отдельным файлом и с возможностью редактирования). Список слов исключений, при нахождении такого слова в названии подразделения запись не заносится (например нам не интересны полиция, суды и т.д.) , необходимо что бы список можно было редактировать. Такой же список по ключевым словам (при этом список исключений имеет приоритет).

БД и парсер имеют три уровня доступа. Пользователь (просмотр, выборка и рассылка), Админ(редактирование,
выдача пользователей, запуск парсера, изменения списков слов и сайтов), «Супер админ» (может все, скрытая опция)
Все права выдаются Пользователи Админом а Админские Супер админом.

Существует порядка 250 Администротивных округов у них в подчинении и находятся муниципальные образования их 23001. На каждом сайте администрации есть ссылки на муниципальные образования, которые находятся у них в подчинении. Задача чтобы парсер зайдя на сайт администрации нашел ссылки на муниципальные сайты, зашел туда а там уже нашел нужную нам информацию.
Необходимо что бы список сайтов Администраций и Муниципальных образований хранился отдельно и мог редактироваться.

Тут можно взять перечень всех субъектов России. ссылка
Соответственно на сайтах администраций есть списки подчинённых муниципальных образований. Рассмотрим пример:
К примеру выбираем Администрация Ленинградской области - Интернет
сайты там идем ссылка берем
самый первый сайт
Бокситогорского ссылка

И там начинаем искать:

Находим например

Муниципальное унитарное предприятие "Благоустройство"
Руководитель предприятия: директор Антонова Светлана Николаевна
Адрес предприятия: 187650, Ленинградская область, г. Бокситогорск,
ул. Советская, д.6 Электронная почта (e-mail):
mup.blagoustrojstvo@yandex.ru Контактные телефоны:
Директор: (81366)243-46
Секретарь: (81366)216-12

Или
Председатель комитета образования - Смирнова Марина Михайловна
Приемная комитета образования: тел/факс: (81366) 248-85
Электронная почта (e-mail): bokskopo@mail.ru
Именно изза того что нет единого реестра таких сайтов я попросил вас сделать список отдельным файлом и с возможностью редактирования и очень желательно при редактировании проверку на совпадения (что бы один и тот же сайт несколько раз не парсить).
Есть еще сайты которые пытаются объединить и собрать такую информацию, например:
ссылка
ссылка
Но на них информация крайне не полная.
С учетом того что для нас первоочередное значение имеет электронная почта, предлагаю от нее и отталкиваться. То есть ищем почту а потом одно из ключевых слов (унитарное предприятие, комитет, отдел, управление, департамент), как правило название не состоит более чем из 5 слов, таким образом мы заполняем поле подразделение и e-mail (это ключевые поля которые нам очень важны). Поля Муниципальный округ, Сайт муниципального округа и Адрес страницы подразделения не должны вызвать затруднения, их заполняем в случаи заполнения подразделение и e-mail. ФИО, телефон и адрес, по ФИО скорее всего придется подключить библиотеку имен и отталкиваясь от имени брать фамилию и отчество, по телефону и адресу скорее всего придется создать некий критерий и если запись ему отвечает то заполняем поля. Для телефона это может быть +7 ……….. или 8 ………. А для адреса г. …….. (пр. ул. Ал.Пер. и тд.)

Нужно обязательно продумать систему фильтров что бы парсер не лез например на поисковики (на многих сайтах есть ссылки на них) или не смотрел страницу с фотографиями и т.д. Свернуть

Нужно создать сайт с остатками товаров поставщиков, на базе какой либо популярной системы управления сайтами! У нас имеются прямые ссылки от наших поставшиков на файлы остатков по товару в формате XML с ежедневным обновлением! Нам нужно организовать Организовать загрузку прямую загрузку от поставшиков.

Пример работы подобного сайта: ссылка логин goss пароль 111111

Так же должна быть админ панель где была бы возможность управления наценкой,возможноть сразу из заказа выставлять счет клиенту,с возможностью отправлять скан вариант счета с печатью+возможность оплатить пластиковой картой на сайте Свернуть

Приветствую всех!

Есть у меня подопечный сайт на фреймворке Codeigniter
программист который его делал и в последствии поддерживал кудато слился((
Сейчас нужно внести кое-какие правки на сайт: добавить меню выпадающее, там поправить тут, поправить там..
Перед тем как "ушел" программер оценил работу в 100$
Ищу человека, кто сможет помочь поправить сайт, и будущем его "вести". Свернуть