Jasminexjf的博客

业务场景遇到模型校准，随记

一、降维和特征选择的区别降低维度的意义： 维数灾难：在给定精度下，准确地对某些变量的函数进行估计，所需样本量会随着样本维数的增加而呈指数形式增长。 降维的意义：克服维数灾难，获取本质特征，节省存储空间，去除无用噪声，实现数据可视化，减少过拟合之前没有详细了解之前，一直觉得降维和特征选择是一样的，因为他们的最终结果都是减少维度；但是这两者在本质上是不一样的。By onl...

Autoencoder算法是一种常见的基于神经网络的无监督学习降维方法（其他常见降维方法）。本教程中，我们利用python keras实现Autoencoder，并在信用卡欺诈数据集上进行异常检测算法。1. Autoencoder简介Autoencoder，中文称作自编码器，是一种无监督式学习模型。本质上它使用了一个神经网络来产生一个高维输入的低维表示。Autoencoder与主成分分...

最近在学习基于时间序列的异常检测算法，看到一篇好文，原文博客地址：http://blog.rexking6.top/2018/11/05/基于时间序列的异常检测/以下是相应的知识：简介搜罗了网上几乎所有的基于时间序列的异常检测方法，没有包括文献，整理记录一下。综合引用以下文章：数据挖掘导论 时间序列异常检测机制的研究 KPI异常检测竞赛笔记 异常检测之时间序列的异常检测...

该项目是在需求：需要计算机监控数据的需求下，查找资料实现对自己计算机的使用情况的监控。返回的结果包含：时间-CPU使用率-内存使用率-C盘使用率-D盘使用率-E盘使用率-网络流量接的量(MB))-网络流量发送的量(MB))# -*- coding: utf-8 -*-import psutilimport datetimefrom xlrd import open_workbook...

模型评估评价指标Evaluation metrics分类评价指标 1 准确率 2 平均准确率 3 对数损失Log-loss 4 基于混淆矩阵的评估度量 41 混淆矩阵 42 精确率Precision 43 召回率Recall 44 F1-score 5 AUCArea under the ...

"An outlier is an observation which deviates so much from other observations as to arouse suspicions that it was generated by a different mechanism." 异常检测 (anomaly detection)，或者又被称为“离群点检测” (o...

局部异常因子算法-Local Outlier Factor(LOF)在数据挖掘方面，经常需要在做特征工程和模型训练之前对数据进行清洗，剔除无效数据和异常数据。异常检测也是数据挖掘的一个方向，用于反作弊、伪基站、金融诈骗等领域。异常检测方法，针对不同的数据形式，有不同的实现方法。常用的有基于分布的方法，在上、下α分位点之外的值认为是异常值（例如图1），对于属性值常用此类方法。基于距离的方法，适...

先附上一个相关的博客链接：史上最全异常检测算法概述在数据库中包含着少数的数据对象，它们与数据的一般行为或特征不一致，这些数据对象叫做异常点 (Outlier) ，也叫做孤立点。异常点的检测和分析是一种十分重要的数据挖掘类型，被称之为异常点挖掘[28 ]。对于异常数据的挖掘主要是使用偏差检测，在数学意义上，偏差是指分类中的反常实例、不满足规则的特例，或者观测结果与模型预测值不一致...

异常点检测，有时也叫离群点检测，英文一般叫做Novelty Detection或者Outlier Detection,是比较常见的一类非监督学习算法，这里就对异常点检测算法做一个总结。1.异常点检测算法使用场景 什么时候我们需要异常点检测算法呢？常见的有三种情况。一是在做特征工程的时候需要对异常的数据做过滤，防止对归一化等处理的结果产生影响。二是对没有标记输出的特征数据做...