knn算法应用场景_智能运维相关算法及应用场景简述

一、综述

智能运维是今年便随AI兴起的一个相对小众的人工智能应用方向，相比于计算机视觉(CV)及自然语言处理(NLP)这些大热的智能应用，智能运维本身场景孕育的算法可以说少之又少，更多的是利用CV和NLP性能较好且较为符合智能运维场景的算法做嫁接。因此，提供智能运维的效能需要对人工智能算法和运维应用场景均具有深入的了解

下文加粗链接代表学习价值较高

二、业内智能运维发展史及发展方向

1.异常检测

• https://www.kaggle.com/victorambonati/unsupervised-anomaly-detection 该链接是算法层面的几个基础的异常点监测方法，关于异常检测的学习可以从开始
• https://www.zhihu.com/question/337230484/answer/803136648 该链接是业内大致的智能运维异常检测应用，prophet、HTM、Opprentice、ROCKA+Donut(VAE)，这几种方案涵盖了目前异常检测的思路
• prophet 是一种基于时间序列分解的预测，通过预测值和真实值的差距来判断这个时间序列是否异常
• https://blog.youkuaiyun.com/anshuai_aw1/article/details/83412058 时间序列模型Prophet使用详细讲解
• https://www.cnblogs.com/runner-ljt/p/5245080.html 时间序列分解-STL分解法
• HTM 层级实时记忆(Hierarchical Temporal Memory, HTM)是一种完全剑走偏锋的思路，实际上应用的算法模型是不同于传统神经网络感知机的机制
• https://blog.youkuaiyun.com/paulfeng20171114/article/details/82423463 应用HTM算法实时异常检测流分析
• https://blog.youkuaiyun.com/enjoyyl/article/details/46341607HTM 学习笔记
• Opprentice 本质是一种对时序进行正常和异常的二分类问题，通过提取特征然后根据这些特性进行分类
• https://blog.youkuaiyun.com/vincent_nkcs/article/details/88762860
• ROCKA+Dount 是一种分治思想，先对时序分类，然后对每类时序做异常分析

时序分类

• https://blog.youkuaiyun.com/deltatang/article/details/28370029DTW (Dynamic Time Warping，动态时间规整)python实现
• paper kShape-时间序列的高效准确聚类
• https://netman.aiops.org/publications
• https://github.com/Tony607/Keras_Deep_Clustering/blob/master/Keras-DEC.ipynb
• https://netman.aiops.org/wp-content/uploads/2018/05/PID5338621.pdf
• https://blog.youkuaiyun.com/qq_32796253/article/details/88414656 基于深度学习的时间序列分类(有监督学习)

时间序列分类是相对热门的课题，主要分为有监督学习和无监督学习两个方面，有监督学习的分类准确率要高，方案也比较丰富和成熟。无监督学习又根据判断标准分为基于时间序列相似度和基于降维表达式的聚类算法两种

单个时序检测

• https://blog.youkuaiyun.com/Kuo_Jun_Lin/article/details/80602776 深度学习+论文详解 TCN_时间卷积网络_原理与优势
• https://blog.youkuaiyun.com/qq_32796253/article/details/88935756 keras进行时间序列预测
• https://www.cnblogs.com/asawang/p/10407551.html 基于变分自编码器(VAE)利用重建概率的异常检测
• https://blog.youkuaiyun.com/dong_lxkm/article/details/81212449 对基于深度神经网络的Auto Encoder用于异常检测的一些思考
• https://www.cnblogs.com/wanghui-garcia/p/11356825.html 通过对抗训练实现半监督的异常检测

三、可能应用场景

1.无监督的时序分类 算法：利用变分自动编码器(VAE)的隐含变量将为表达时序，再利用聚类进行时序分类

• 对某一监控项(网络、硬盘、内存等强调周期性时序)进行分类，实现对子系统每个主机任务的分类，当某一个主机出现异常，可以根据这个结果展示多个相似的主机相关监控项
• 异常检测系统的实现，利用分而治之的思想将主机进行分类，然后对每一类时序进行异常检测

2.单项时间序列异常检测 算法 利用变分自动编码器(VAE)对单个时间序列建模(训练)，将重建误差较大的数据判断为异常数据

• 运维大家较大的高价值监控项的针对性检测
• 在线场景的即时异常参考，基于变分自动编码+隔离森林的快速单项时序检测模型可以在15~45秒內对单个时间序列进行异常分析，这种异常检测模型不需要异常数据的标识，通过无监督学习的方式识别可能的异常时许

3.缺失值填补 算法 基于XGboost的单个时间序列的预测和填补，面对存在缺失或者需要预测的单个时序，利用大约一周的时序数据(约2016个时序点)对齐缺失值或未来值进行填补或预测

• 面向某些特点数据的预测，如容量的扩容建议，故障的简单预测等
• 对缺失数据的可视化，在多个相关时间序列的横向对比中，提供一种给予估计值的选择