В целом, по работе чтобы была ясность, что делается и какая цель:
Вообщем необходимо выявить подозрительные страницы, используя цифровую и текстовую доступную информацию страницы. Соответственно разобъем на задачи: формируем исходный набор страниц, помечаем их как потенциально опасные/безопасные. высчитываем среднее, разброс, критерий разделимости по классам. оцениваем вероятность ошибки классификации. переделываем функции рассчета признаков, используя полученные средние+разброс, чтобы результатом стали 0 или 1. проверяем полученные признаки на новом наборе данных. если вероятность ошибки классификации при оценке на новых данных возрастает незначительно, относительно оценки вероятности ошибки на исходных данных - то считаем, что признаки рассчитаны правильно и доступная информация пользователя (цифровая и текстовая) используется эффективно для выполнения поставленной задачи детектирования.
Входные данные - урлы страниц, датасет формируем сами
Потому что мы должны основываясь на текстовой и цифровой информации делать выводы.
Из своих соображений на данный момент определяются только потенциально опасные и потенциально безопасные множества страниц. Точного датасета не может существовать т.к. станицы однозначно подтверждённые как опасные - соцсети блокируют.
Действительно, определение потенциальной опасности и безопасности страниц, носит оттенок предположения Но
Есть существующие публикации, которые используют ту или иную часть выбранного нами признакового пространства
Соответственно, мы не определяем лимит, по которому определяем страница хорошая или плохая, мы делаем это средствами дискриминантного анализа. Мы только формируем выборку.
Основное предположение, что страница которая пытается пойти за нормальную, но явно сфабрикована - ПОТЕНЦИАЛЬНО опасная И мы обнаруживаем именно эти Это похоже на социальный скоринг, но не совсем то
Непосредственно задача: реализовать программу на Python, с помощью методов машинного обучения, на основе прикрепленного алгоритма и математической модели. В коде обязательны комментарии и необходима пояснительная записка по работе программы и используемых технологиях.
Есть VtigerCRM 7.3. СРМ написанная на PHP. Есть дополнительные модули экспорта для в PDF. Но нам не хватает полей из описания пользвателя для экспорта. Нам нужно добавить 4 поля для каждого пользователя и чтобы они подтягивались для ...
Создание телеграм бота для взаимодействия с криптобиржей. Детальное ТЗ при личном общении!
Требуется написать программу "Рациональной корабельной загрузки". Суть программы: программа получает на вход информацию о вместимости корабля, массе груза и его цене, далее основываясь на "жадном алгоритме" подсчитывает какой груз будет выгодней взять. Подсчет производится по ...
Есть сайт с футбольными матчами Нужно вытянуть текст "Pinnacle" с тега или вытянуть атрибут data-bid="18" с тега [i]Это нужно сделать на Java 15.0.1 c помощью любой знакомой вам библиоткеки для парсинга.[/i] [i]Я например использовал библиотеку JSOUP, ...
[b]Необходимо написать бота который будет создавать аккаунту в игре RAID, заходить каждый день нажимать ряд кнопок внутри игры и так циклично - создаем аккаунты - заходим на них каждый день, данные об аккаунте(количестве монет, рубинов ...
Добрый день! Есть личный аккаунт, который состоит в каналах "А", "Б" и "С". В каналах "А" и "Б" аккаунт не является администратором и не имеет прав. В аккаунте "С" он администратор. Задача - копировать фид из "А" и "Б" ...
Добрый день! Требуется парсер для телеграмма. Задача - находить в искомых группах (указывать одну или две) все привилегированные учетки (например администраторы, модераторы или иные лычки). Полученный результат сохранять в .txt или эксель. Язык исполнения - Ваш. Приоритет питон.
Ищем классного Java-разработчика на интересный проект от QIWI. Наш стек: Java 8+/ Java 11; JEE/Spring/Spring Boot. Будет плюсом, если ты имеешь опыт работы: Keycloak; OAuth 2.0; OpenID Connect.
Программное обеспечение для анализа и распознавания фракционного состава дисперсных систем Программа которая будет установлена на ПК, к которому будет подключен объектив камеры, установленный на микроскоп. Камера фотографирует данные с микроскопа, загружает в программу, программа проводит анализ ...
Сохранился не в том формате.