16、基于树的日志解析器生成器与日志令牌变量类型检测

基于树的日志解析器生成器与日志令牌变量类型检测

1. 基于树的日志解析器生成器规则

在构建日志解析器树时，有一些重要规则来确保解析器的有效性和准确性。
- 规则 3 ：规则 3 确保算法不会构建拒绝过多日志行的解析器树。例如，若 θ1 = 0.1，当只有 2 个节点的路径频率高于 θ1 时，算法可能会拒绝多达 80% 到达前一个节点的日志行。因此，路径频率超过 θ1 的节点的路径频率总和还必须超过更高的阈值 θ3。
- 规则 4 ：由于有些日志行可能在路径结束前就结束了，所以需要规则 4。规则 4 评估以下两种情况：
1. 如果在节点 nk i 结束的行的比例高于 θ4 ∈[0, 1]，算法将所有后续节点生成为可选节点，即日志行可以在之前结束，也可以到达所有后续节点。否则，所有行必须成功解析，否则被视为未解析。
2. 如果不在节点 nk i 结束的行的比例低于 θ5 ∈[0, 1]，路径在节点 nk j 结束，且没有后续节点。否则，要么规则 4a 成立，要么所有行必须成功解析。需要注意的是，θ4 必须始终大于或等于 θ5。

2. AECID - PG 的特性

AECID - PG 是一个强大的日志解析器生成器，具有以下重要特性：
|特性|描述|
|----|----|
|自定义分隔符|大多数日志解析器生成器仅使用空格对日志数据进行标记，而 AECID - PG 允许自由选择分隔符，甚至可以定义分隔符列表，使其能更好地适应不同属性的日志数据，应用范围更广。|
|局部路径频率考虑|AECID - PG 在每个节点中局部考虑路径