maoyuanming0806的博客

重点介绍项目中的趋势异常检测算法。本文主要介绍基于业务阈值设定的异常检测，作为自动化异常检测的业务补充监控方案。是的整套检测框架全面覆盖各种应用场景。基于业务规则阈值判断的异常检测，是对无监督自动化异常检测的一种人工补充。此方案依赖于专家规则的配置，建议搭配无监督自动化异常检测方案使用。

本文将重点介绍项目中的趋势异常检测算法。Mann-Kendall (MK) 算法是一种非参数统计方法，常用于检测时间序列数据中的单调趋势，并判断其显著性。Mann-Kendall算法使用与所有分布的时序数据的趋势分析，对数据较为鲁棒，在气象、环境监测等趋势监测领域较为常用。也能够应用到我们应用系统的指标检测中。

概述请参考系列文章（一）的概述本文将重点介绍项目中的波动异常检测算法。基于二阶导数和距离的 MBP 方法有效结合了曲率和全局形态信息，适用于波动型数据的异常检测。这种方法不仅考虑局部变化，还综合评估全局波动趋势。实际业务过程中，一个指标序列，可能有多个波动拐点，可以调整为寻找TopN个最大弯曲点。实际业务过程中，可以结合Quantile算法（在第一章中有详细介绍），进行过滤正常区间的候选点，增加准确率, 开源项目中也是加入了此项优化。

数据应用中，指标与业务息息相关。指标是数据的数值体现，数据驱动业务的思想基础上，指标的价值必然不会止于业务分析人员依靠业务积累而探寻出来。笔者看来，有意义的指标的价值客观存在，数据驱动–即需要让数据说话，让数据主动推动业务。其中一大价值点在于，把业务问题和业务亮点主动发现，并推动业务人员及时处理问题和推广亮点，积累正确的点，解决错误的点。业务发展，指标数量越来越多。如何能够快速识别系统各项异常指标，发现问题根因，并推动业务进行调改，是一项很重要的能力。