异常检测-机器学习总结

父文章    安全生产 - 稳定性建设的方法论 架构师应该做什么? []_个人渣记录仅为自己搜索用的博客-优快云博客

相关文章 :

   自动写监控. 自动写核对自动化监控/测试/核对 业务冻结和事务冻结字段分开 解决过桥/过渡账户冻结问题_个人渣记录仅为自己搜索用的博客-优快云博客

云原生系统相关的数据采集:

   一文带你读懂CNCF Landscape中的Prometheus监控,fluentd日志采集,展示Grafana

原理:      

    基于时间序列的异常检测算法小结<数据挖掘导论一书> 
    数据挖掘中常见的「异常检测」算法有哪些？ by知乎+工具包+源代码+论文

    Forecasting: Principles and Practice

    关于数据的异常检测，看这一篇就够了by携程(数据异常检测方法以及实际应用)

   多接口关联的场景异常检测,需要用到马尔可夫链的后概率原理.by UEBA专家

      异常检测（anomaly/ outlier detection）领域还有那些值得研究的问题？

      单纯形法(Nelder-Mead) 含代码(Nelder-Mead:单纯形法秉承保证每一次迭代比前一次更优的基本思想，先找出一个基本可行解，看是否是最优解)

图来自登录 | ProcessOn

腾讯技术路线演进: 

云平台:

  阿里云sls  SLS机器学习最佳实战：时序异常检测和报警-阿里云开发者社区 预测与异常检测函数 - 日志服务 - 阿里云

  腾讯织云

技术实战:    

四种检测异常值的常用技术简述基于KNIME 

 用PyOD工具库进行「异常检测」

     机器学习练习（八）—— 异常检测与推荐

工程:

   spark mlib/flinkMl/tensorflow 封装了算法,开箱即用. 智能化需要自己摸索出合适的模型.

实战:

聚类-异常检测 (内含 基于K_means聚类的网络流量异常检测 等介绍,spark高级数据分析---网络流量异常检测(升级实战) 含代码
5-Spark高级数据分析-第五章 基于K均值聚类的网络流量异常检测
KMeans算法检测网络异常入侵, )

异常点检测算法（三）之RNN

 外卖订单量预测异常报警模型实践 (本质上是时间序列下的业务监控,利用了同比和环比相关性进行预测,能够避免天气原因带来的误报. 短时内还是会误报,要把天气预报参数对接进来. 结论: 我们可以将Holt-Winters算法拆分为两个独立的计算过程： 1. 定时任务计算序列的周期数s(t)。 2. 对残差序列做实时预测。美团-东杰 Forecasting: Principles and Practice)

    基于Prophet的时间序列预测BY腾讯  腾讯织云Metis:    例如时间序列异常检测、DLP 生死指标监控、多维下钻、关联分析、ROOT 根源分析等场景都是Metis在质量保障方面的典型应用 

    织云Metis时间序列异常检测全方位解析

异常检测技术揪出“刷手” 360联合中科院教授打造反刷单利器(本质上就是多维指标的分析,聚类等)

针对目前存在的问题，刘盛华博士团队提出了一种基于行为关系的检测方法，因为任何欺诈都需要行为的发生，所以根据行为的特点进行检测，便可以让欺诈者原形毕露。刘博士进一步介绍称，这一方法的基本思路是基于“大图挖掘”的异常检测，这张大图就是每个普通用户（包括隐蔽其中的刷手）在店铺里的访问、购买、评论等行为。

时间序列分解和异常检测方法应用案例

定位:

   复杂运维场景下，如何实现分钟级的故障根因定位 by 灵犀技术总监，原百度系统部高级项目经理

   异常日志聚类分析和web大盘

   异常日志把堆栈类和行号+入口类+方法打印出来. 这样更能就可以结构化聚类了. [$X{TRACE_RPC_METHOD}] [%c{0}_%method_%line] logBack

学术界研究:

     清华裴丹分享AIOps落地路线图，看智能运维如何落地生根