18、日志令牌统计分析的变量类型检测器详解

日志令牌统计分析的变量类型检测器详解

1. 二项检验与指标计算

当 T 大于二项检验的显著性水平 α 时，二项检验结果为阳性。在日志数据中，部分令牌的数据类型不稳定，频繁发生变化，这可能导致变量类型检测器（VTD）产生误报。为了减轻不稳定令牌的负面影响，我们计算并使用指标。VTD 不仅计算令牌指标 (TIt)，还计算事件指标 (EIe)，事件指标能反映事件类型 (e) 的当前状态，且比令牌指标更具鲁棒性。

1.1 令牌指标

令牌指标 (TIt) 会考虑令牌 (t) 所采用的数据类型 (dtt) 的历史情况。我们定义了两个向量 (DTt,ref) 和 (DTt,con)：
- (DTt,ref = [dtt,n0, dtt,n0+1, \ldots, dtt,n1])
- (DTt,con = [dtt,n2, dtt,n2+1, \ldots, dtt,n3])

其中 (n0 < n1 < n2 < n3) 是自然数。(DTt,ref) 是参考向量，存储令牌 (t) 在更新步骤 (n0) 到 (n1) 之间采用的数据类型；(DTt,con) 是控制向量，存储令牌 (t) 在更新步骤 (n2) 到 (n3) 之间采用的数据类型。

令牌指标 (TIt) 考虑了 (DTt,ref) 和 (DTt,con) 之间的相似性。(TIt \in [0, 1])，若两个向量不相似，(TIt) 接近 1，这意味着存在异常的概率较高。经验研究表明，异常阈值 (TIt = 0.7) 是合理的。令牌指标的计算公式如下：
[TIt = \sum_{type \in datatypes} dtype(DTt,ref,