lovelife110的博客

通过异常分数表实现根因节点查找代码示例代码示例入口代码if __name__ == '__main__': trace_data = pd.read_csv(".././data/process_trace.csv", index_col=False) rca_temp = RCA(trace_data=trace_data, alpha=0.99, ub=0.1) rca_temp.run()...

核密度估计实现异常程度转换核密度估计介绍核函数估计KDE实现异常程度转换原理代码示例代码说明核密度估计介绍对于估计概率密度，如果确定数据服从的分布类型，可以使用参数拟合，否则只能使用非参数拟合百科：核密度估计（kernel density estimation）是在概率论中用来估计未知的密度函数，属于非参数检验方法之一核函数估计KDE实现异常程度转换原理代码示例主函数：if __name__ == '__main__': train_data = np.array([22.22, 2

转载原链接：https://jckling.github.io/2021/01/23/Other/Root%20Cause%20Analysis%20of%20Anomalies%20of%20Multitier%20Services%20in%20Public%20Clouds/从云供应商的角度，快速定位导致云平台上多层业务异常的根本原因，解决方案应该对租户的服务或应用程序是无侵入的（非侵入式）。简介多层服务或云应用涉及上百个组件，而这些组件又分布在不同的主机上。IaaS 云允许租户共享物理计算基础

II.CHANGE QUANTIFICATIONCHANGE QUANTIFICATION说明A. 变化开始时间B. 变化程度论文：FluxRank: A Widely-Deployable Framework to AutomaticallyLocalizing Root Cause Machines for Software Service Failure Mitigation 的 II. CHANGE QUANTIFICATION部分FluxRank论文背景说明CHANGE QUANTIFI

摘要软件服务的故障直接影响用户体验和服务收入。因此，运维可以在服务所在的每台计算机上监视服务级别的KPI（例如响应时间）和计算机级别的KPI（例如CPU使用情况）。当服务失败时，运维必须尽快定位根本原因的机器并减轻故障。由于难以获得所需的额外测量数据，现有方法的应用受到限制。目前故障定位在很大程度上是手动的并且非常耗时。本文介绍了FluxRank，它是一种可广泛部署的框架，可以自动准确地定位根本原因机器，以便可以触发某些操作来减轻服务故障。我们使用来自搜索公司的五个真实服务（具有成千上万台计算机）的历史案

通过傅里叶变换判断数据是否为周期1. 检测方法2. 代码示例3. 代码讲解3.1 使用周期图法估计功率谱密度3.2 原理1. 检测方法通常判断数据周期性的方法是对数据进行傅里叶变换。采用是傅立叶变换，该方法快速且计算效率高，但在存在多季节性模式时效果不佳。2. 代码示例代码位置： https://github.com/lilihongjava/aiopsdef is_periodicity(data, show_pic=False): """ :param data: 检测数据，

小波变换理解小波变换就是把一个波形分解成N个低频部分和M个高频部分的和；同一个小波基函数可以通过平移和缩放生成不同的小波基；小波变换就是把原始信号与小波基函数以及尺度函数进行内积运算，所以一个小波基和一个尺度函数就确定了一个小波变换；类比理解：小波基就相当于一个标准正交基；原始信号与小波基作内积相当于向量在标准正交基上做投影；...

CloudRanger:云原生系统根因识别1. Abstract提出一种动态因果关系分析方法来构造应用程序之间的影响图，而不需要给定拓扑。提出了一种基于二阶随机游走来识别罪魁祸首的服务2. INTRODUCTION云服务服务众多，监控管理复杂动态新增 删除微服务。弹性伸缩需要同时度量业务事务的整体性能和单个微服务的性能。因为一个微服务挂了，影响不到整体。对于云原生系统，传统的性能基线方法可能是一项艰巨的任务，因为必须为每个业务事务和微服务构建基线。基线还必须跟上每个微服务版本迭代的步伐，但由

转载：https://github.com/Renovamen/pcalg-pyPC Algorithm理想情况（知道所有条件独立关系）Estimating High-Dimensional Directed Acyclic Graphs with the PC-Algorithm, Markus Kalisch, Peter Bu ̈hlmann. 2007line 11: 需要条件独立关系偏相关系数校正其它变量后某一变量与另一变量的相关关系，校正的意思可以理解为假定其它变量都取值为均数服

论文原文https://arxiv.org/pdf/1811.03509.pdf翻译原文https://blog.youkuaiyun.com/arpospf/article/details/98795806GitHub日志解析：https://github.com/logpai/logparser自动日志分析的工具和基准Abstract——在许多软件系统的开发和维护过程中，日志是...

日志解析：https://github.com/logpai/logparser异常检测：https://github.com/logpai/loglizer预备知识：需要对逻辑回归、决策树、SVM、PCA、聚类等有一些了解论文原文：https://github.com/AmateurEvents/article/blob/master/System-Log-Analysis-for-An...

运营商告警数据根因分析方案和代码示例背景特征工程nlp特征告警标题tfidf告警标题做word2vec词向量挖掘统计特征告警历史统计特征故障历史统计特征小时展开表特征比率特征故障时间rank特征背景AIIA巡回赛中国移动赛，无线侧故障根因分析无线侧故障根因分析，针对现网告警、工单数量大，故障原因定位困难的痛点，希望选手通过机器学习手段建立模型，将现网历史告警数据和工单中的故障原因定位标注数据相关联，训练分类出停电、软件故障、硬件故障、误告警、传输故障等原因，从而减少实际派单数量并进行优化策略派单。特

腾讯织云Metis异常检测原理刨析1. 技术架构1. 技术架构1.1 离线模块详情参考系列文章Metis异常检测初体验Metis异常检测算法源码Metis异常检测数据集训练源码深入刨析Metis异常检测算法率值检测和量值检测源码刨析Metis异常检测样本管理源码分析...

Metis异常检测样本管理源码分析

Metis异常检测算法率值检测和量值检测源码刨析1. 测试代码2. 率值检测2.1 rate_predict方法(detect.py)2.2 predict方法(statistic.py)2.3 http接口/PredictRate3. 量值检测系列之前文章Metis异常检测数据集训练源码深入刨析Metis异常检测初体验Metis异常检测算法源码看以下代码要了解数据集说明，参考之前文章1. 测试代码剥离出Metis算法部分，通过prediction_test.py熟悉Metis源码htt

Metis基础知识可以参考之前的文章Metis异常检测初体验Metis异常检测算法源码模型训练源码位置 Metis-0.3.0\app\service\time_series_detector\detect_service.pyprocess_train 方法根据页面参数查询sample_dataset表数据。 self.sample_op_obj.sample_query_all(sample_params)根据第一步查到的数据，统计正样本和负样本数量，插入train_task表。如果正

Metis异常检测算法源码算法源码目录算法层目录基于指数移动平均算法（EWMA）孤立森林xgboostgbdt3-Sigma多项式回归特征层目录分类特征统计特征拟合特征其他目录离线模块在线模块算法源码目录以下算法目录都在此目录下/Metis-0.3.0/time_series_detector/ 时间序列异常检测学件目录算法层目录/time_series_detector/algorithm/基于指数移动平均算法（EWMA）ewma.py 基于指数移动平均算法（EWMA）的控制图理论，参考

以下基于 Metis v0.3安装指南安装文档路径https://github.com/Tencent/Metis/blob/master/docs/install.md安装有两种方式1、手工安装部署 2、docker安装部署建议使用docker安装方式，省事，手工安装和环境依赖很重要，有些坑需要自己踩。手工源码安装踩坑记录python版本: 2.7版本。 有版本有要求，如果使用python3+可能有安装问题。安装mysql，导入初始化数据脚本。Metis分前后端。后端工程启动方式为py

论文地址：http://jmzhu.logpai.com/pub/pjhe_icws2017.pdfDrain可以以流方式实时解析日志，为了加快解析过程，Drain使用了固定深度的解析树（请参见上图）根节点为树的顶层，底层为叶子节点，其他层为内部节点。根节点和内部节点用于搜索，叶子节点存储日志组(包含日志事件和日志对应的ID号)Drain基于固定深度解析树步骤步骤1，预处理...