17、日志令牌统计分析的变量类型检测器

日志令牌统计分析的变量类型检测器

在日志数据分析领域，传统的异常检测方法如主成分分析（PCA）、支持向量机（SVM）、不变量挖掘和决策树等，常借助事件计数矩阵在时间窗口内检测异常。还有一种基于事件的异常检测技术——日志行聚类，它无需解析日志，可用于发现离群值并进行时间序列分析。然而，这些方法都未详细分析日志行的可变部分，也未为可变令牌分配属性并随时间跟踪。对于具有较强结构的日志数据，如审计日志和系统监控日志，这些基于事件的算法在异常检测方面效果有限。

1. 主要贡献

为解决上述问题，提出了一种新颖的无监督方法，主要贡献如下：
- 为日志行的每个可变令牌分配类型，若类型改变则发出警报。
- 引入稳健的指示函数，通过考虑每个令牌的数据类型历史，减少异常检测中的误报。
- 基于事件的检测机制，考虑事件类型中所有令牌的数据类型，适用于事件类型较少的日志数据。

2. 变量类型检测器概念

变量类型检测器（VTD）的概念流程如下：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px
    SD([Sanitize log data (SD)]):::process --> IT([Initi