异常检测介绍

一、了解异常检测基本概念
1、什么是异常检测
异常检测是指识别出与主体分布数据的分布相差较大或者与预测分布的数据相差较大的数据。
2、异常的类别
2.1 点异常
是指少数个体是异常的，大多数的个体是正常的。
2.2 上下文异常
是指在特定环境下，个体实例是正常的，但是在其它环境下是异常的。例如：在特定时间下温度突然上升或者下降。
2.3 群体异常
是指在某个群体中出现异常个体，但是这个个体实例并不是真正异常的，真正异常的是这个群体。例如：社交网络中虚假账号形成的异常子集，但这个子集中的个体与真实的账号一样正常。
3、异常检测任务分类
有监督
无监督
半监督
二、什么情况下使用异常检测方法
1、对特征数据的处理：在做特征工程的时候，为了防止异常数据影响归一化，需要把异常数据过滤掉；在做二分类的时候，训练样本数据非常少，样本类别数据不均衡，使用无监督的异常点检测。
2、日志异常检测、网络入侵异常检测、信用卡异常检测等。

三、异常检测的方法
1、传统方法
1.1 基于统计学的方法
假定正常数据对象由一个统一的模型给出，不符合该模型的是异常数据。异常检测的统计学方法是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。
1.2 线性模型
PCA
2、集成方法
3、异常检测常用开源库pyod