2021-05-12

最新推荐文章于 2024-01-24 23:20:09 发布

!HELLO WORLD!

最新推荐文章于 2024-01-24 23:20:09 发布

阅读量520

点赞数

文章标签： python 人工智能大数据

本文链接：https://blog.youkuaiyun.com/qq_41260988/article/details/116706972

版权

异常检测——基于统计学的方法

一、概述

统计学方法对数据的正常性做出假定。**它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。**统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。

统计方法的最大优点是它可以“学习”用户的使用习惯，从而具有较高检出率与可用性。但是它的“学习”能力也给入侵者以机会通过逐步“训练”使入侵事件符合正常操作的统计规律，从而透过入侵检测系统。[2]

异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。

即利用统计学方法建立一个模型，然后考虑对象有多大可能符合该模型。

根据如何指定和学习模型，异常检测的统计学方法可以划分为两个主要类型：参数方法和非参数方法。

参数方法假定正常的数据对象被一个以Θ为参数的参数分布产生。该参数分布的概率密度函数f(x,Θ)给出对象x被该分布产生的概率。该值越小，x越可能是异常点。

非参数方法并不假定先验统计模型，而是试图从输入数据确定模型。非参数方法通常假定参数的个数和性质都是灵活的，不预先确定（所以非参数方法并不是说模型是完全无参的，完全无参的情况下从数据学习模型是不可能的）。

二、参数方法[1]

2.1 基于正态分布的一元异常点检测

仅涉及一个属性或变量的数据称为一元数据。我们假定数据由正态分布产生，然后可以由输入数据学习正态分布的参数，并把低概率的点识别为异常点。

假定输入数据集为x(1),x(2),...,x(m)，数据集中的样本服从正态分布，即x(i)∼N(μ,σ2)，我们可以根据样本求出参数μ和σ。

$\mu =\frac{1}{m}\sum_{i=1}^{m}x^{i}$

$\sigma ^{2}=\frac{1}{m} \sum_{i=1}^{m}(x^{i}-\mu )^{2}$

求出参数之后，我们就可以根据概率密度函数计算数据点服从该分布的概率。正态分布的概率密度函数为

$p(x)=\frac{1}{\sqrt{2\pi \sigma }}exp(-\frac{(x-\mu )^{2})}{2\sigma ^{2}})$

如果计算出来的概率低于阈值，就可以认为该数据点为异常点。

阈值是个经验值，可以选择在验证集上使得评估指标值最大（也就是效果最好）的阈值取值作为最终阈值。

例如常用的3sigma原则中，如果数据点超过范围(μ−3σ,μ+3σ)，那么这些点很有可能是异常点。

这个方法还可以用于可视化。箱线图对数据分布做了一个简单的统计可视化，利用数据集的上下四分位数（Q1和Q3）、中点等形成。异常点常被定义为小于Q1－1.5IQR或大于Q3+1.5IQR的那些数据。

2.2 多元异常点检测

涉及两个或多个属性或变量的数据称为多元数据。许多一元异常点检测方法都可以扩充，用来处理多元数据。其核心思想是把多元异常点检测任务转换成一元异常点检测问题。例如基于正态分布的一元异常点检测扩充到多元情形时，可以求出每一维度的均值和标准差。对于第j维：

$\mu _{j}=\frac{1}{m}\sum_{i=1}^{m}x_{j}^{i}$

$\sigma_{j}^{2}=\frac{1}{m} \sum_{i=1}^{m}(x_{j}^{i}-\mu_{j} )^{2}$

计算概率时的概率密度函数为

$p(x)=\prod_{j=1}^{n}p(x_{j};\mu_{j},\sigma _{j}^{2}) =\prod_{j=1}^{n}\frac{1}{\sqrt{2\pi }\sigma_{j}}exp(-\frac{(x_{j}-\mu_{j})}{2\sigma _{j}^{2}})$

这是在各个维度的特征之间相互独立的情况下。如果特征之间有相关性，就要用到多元高斯分布了。

多个特征相关，且符合多元高斯分布

当多元高斯分布模型的协方差矩阵∑为对角矩阵，且对角线上的元素为各自一元高斯分布模型的方差时，二者是等价的。

2.3 使用混合参数分布

在许多情况下假定数据是由正态分布产生的。当实际数据很复杂时，这种假定过于简单，可以假定数据是被混合参数分布产生的。

三、非参数方法[1]

在异常检测的非参数方法中，“正常数据”的模型从输入数据学习，而不是假定一个先验。通常，非参数方法对数据做较少假定，因而在更多情况下都可以使用。

例子：使用直方图检测异常点。

直方图是一种频繁使用的非参数统计模型，可以用来检测异常点。该过程包括如下两步：

步骤1：构造直方图。使用输入数据（训练数据）构造一个直方图。该直方图可以是一元的，或者多元的（如果输入数据是多维的）。

尽管非参数方法并不假定任何先验统计模型，但是通常确实要求用户提供参数，以便由数据学习。例如，用户必须指定直方图的类型（等宽的或等深的）和其他参数（直方图中的箱数或每个箱的大小等）。与参数方法不同，这些参数并不指定数据分布的类型。

步骤2：检测异常点。为了确定一个对象是否是异常点，可以对照直方图检查它。在最简单的方法中，如果该对象落入直方图的一个箱中，则该对象被看作正常的，否则被认为是异常点。

对于更复杂的方法，可以使用直方图赋予每个对象一个异常点得分。例如令对象的异常点得分为该对象落入的箱的容积的倒数。

使用直方图作为异常点检测的非参数模型的一个缺点是，很难选择一个合适的箱尺寸。一方面，如果箱尺寸太小，则许多正常对象都会落入空的或稀疏的箱中，因而被误识别为异常点。另一方面，如果箱尺寸太大，则异常点对象可能渗入某些频繁的箱中，因而“假扮”成正常的。

四、基于角度的方法[1]

基于角度的方法的主要思想是：数据边界上的数据很可能将整个数据包围在一个较小的角度内，而内部的数据点则可能以不同的角度围绕着他们。如下图所示，其中点A是一个异常点，点B位于数据内部。

如果数据点与其余点离得较远，则潜在角度可能越小。因此，具有较小角度谱的数据点是异常值，而具有较大角度谱的数据点不是异常值。

考虑三个点X,Y,Z。如果对于任意不同的点Y,Z，有：

五、HBOS[1]

HBOS全名为：Histogram-based Outlier Score。它是一种单变量方法的组合，不能对特征之间的依赖关系进行建模，但是计算速度较快，对大数据集友好。其基本假设是数据集的每个维度相互独立。然后对每个维度进行区间(bin)划分，区间的密度越高，异常评分越低。

HBOS算法流程：

1.为每个数据维度做出数据直方图。对分类据数据统计每个值的频数并计算相对频率。对数值数据根分布的不同采用以下两种方法：

静态宽度直方图：标准的直方图构建方法，在值范围内使用k个等宽箱。样本落入每个桶的频率（相对数量）作为密度（箱子高度）的估计。时间复杂度：O(n)
2.动态宽度直方图：首先对所有值进行排序，然后固定数量的Nk个连续值装进一个箱里，其中N是总实例数，k是箱个数；直方图中的箱面积表示实例数。因为箱的宽度是由箱中第一个值和最后一个值决定的，所有箱的面积都一样，因此每一个箱的高度都是可计算的。这意味着跨度大的箱的高度低，即密度小，只有一种情况例外，超过k个数相等，此时允许在同一个箱里超过Nk值。

时间复杂度：O(n×log(n))

2.对每个维度都计算了一个独立的直方图，其中每个箱子的高度表示密度的估计。然后为了使得最大高度为1（确保了每个特征与异常值得分的权重相等），对直方图进行归一化处理。最后，每一个实例的HBOS值由以下公式计算：

六、数据安全应用

6.1 基于统计学的网络流量异常的入侵检测[4]

入侵检测中通常用到的异常检测方法有：统计方法(Staticstics)、神经网络(Neural network)、模式预测( Patten prediction)、遗传算法(Genetic Algorithm)、序列匹配与学习

(Sequence matching and learning)、免疫学方法(Immunology)、数据挖掘(Data mining)等等。目前出现了一些基于网络流量分析的入侵检测技术。

统计方法可以利用成熟的统计理论成果，但它对事件发生的次序及内在联系不敏感、检测系统可能被入侵者逐渐训练而将入侵视为正常行为。

步骤：

正常流量模型的建立需要把反映网络流量的目的 IP地址、源 IP 地址、目的端口、源端口、时间、数据包类型、 TCP 头的 syn 和 ack 标志位、包长度、ICMP 协议类型以及 UDP 等各项指标都体现出来，使其能够准确反映网络活动。
模型选择：
Denning提出了用于异常检测的5种统计模型:

⑴操作模型:该模型假设异常可通过测量结果和指标的比较而得到，指标可以根据经验或一段时间的统计平均得到。

(2)方差:计算参数的方差，设定其置信区间，当测量值超出了置信区间的范围时表明可能存在异常。

(3)多元模型:操作模型的扩展，通过同时分析多个参数实现检测。

(4)马尔可夫过程模型:将每种类型事件定义为系统状态，用状态转移矩阵来表示状态的变化，若对应于发生事件的状态转移矩阵概率较小，则该事件可能是异常事件。

(5)时间序列模型:将测度按时间排序，如一新事件在该时间发生的概率较低，则该事件可能是异常事件。

正常流量模型的调整：网络行为是不断变化的,即使对于比较稳定的网络环境，也会随着用户行为的变化而变化。因此，正常流量模型必须是可调整的，要能够随着网络行为的改变而调整自己的历史行为网络基线。调整时，有些参数可以手动设置，比如广播和单播数据包的比例，ICMP中请求和应答的比例;有些参数需要通过学习动态进行调整，比如平均包长度的调整。动态调整则需要使用滑动窗口，使异常检测能够更加准确。