什么是异常识别
异常样本
将unintentional anomalies分类为:
- novel examples
- out of distribution examples
- in distribution examples
- Adversarial examples(对抗样本:通过给正常样本加噪的方法构建,肉眼不一定可见。用于构建更有泛化能力的模型而引入。)
应用
计算机视觉、数据挖掘、自然语言处理等。
- 视频监督异常检测。
- 诈骗检测,网络侵入检测。
- 医学异常检测,传感器网络异常检测。
- 物联网大数据异常检测。
- 日志异常检测,工业危害检测。
传统异常检测方法
- Gaussian Distribution
从上图可以看出,对于一分类问题是足以胜任的,但是当出现了多个正确图像的类别将出现高斯混合分布中的那条蓝线,曲线的 m a x P ( x ) maxP(x) maxP(x)出现在OOD样本上。 - Gaussian Mixture Distribution1
深度学习方法
- 使用深度学习算法开始研究的第一篇论文发表在2016年CVPR2
- 主流的异常检测任务
- Reconstruction:如下图所示,输入图片通过深度神经网络,使用L2损失训练该网络。在测试过程中固定DNN,输入如果是正常图片那么 ∣ ∣ I t − I ^ t ∣ ∣ 2 2 ||I_t-\hat{I}_t||^2_2 ∣∣It−I^t∣∣22将会比较小,如果是异常图片,那么由于训练中没有用到异常图像,那么异常图像作为输入的这个L2损失将会很大。
- Prediction:下面的过程是上科大高盛华老师团队提出的一种预测算法,提出的原因是:Reconstruction过于完备,即训练DNN时学习特征是相加 U 1 + ⋯ + U 2 U_1+\dots+U_2 U1+⋯+U2而不是相交 U 1 ∩ ⋯ ∩ U 2 U_1\cap \dots\cap U_2 U1∩⋯∩U2。其中使用了三种损失:
- L i n t ( I ^ , I ) = ∣ ∣ I ^ − I ∣ ∣ 2 2 L_{int}(\hat{I}, I)=||\hat{I}-I||^2_2 Lint(I^,I)=∣∣I^−I∣∣22
- L g d = ∑ i , j ∣ ∣ ∣ I ^ i , j − I ^ i − 1 , j ∣ − ∣ I i , j − I i − 1 , j ∣ ∣ ∣ 1 + ∣ ∣ ∣ I ^ i , j − I ^ i , j − 1 ∣ − ∣ I i , j − I i , j − 1 ∣ ∣ ∣ 1 L_{gd}=\sum\limits_{i,j}|||\hat{I}_{i,j}-\hat{I}_{i-1,j}|-|I_{i,j}-I_{i-1,j}|||_1+|||\hat{I}_{i,j}-\hat{I}_{i,j-1}|-|I_{i,j}-I_{i,j-1}|||_1 Lgd=i,j∑∣∣∣I^i,j−I^i−1,j∣−∣Ii,j−Ii−1,j∣∣∣1+∣∣∣I^
- Reconstruction:如下图所示,输入图片通过深度神经网络,使用L2损失训练该网络。在测试过程中固定DNN,输入如果是正常图片那么 ∣ ∣ I t − I ^ t ∣ ∣ 2 2 ||I_t-\hat{I}_t||^2_2 ∣∣It−I^t∣∣22将会比较小,如果是异常图片,那么由于训练中没有用到异常图像,那么异常图像作为输入的这个L2损失将会很大。