25、机器学习方法在异常检测、分类与复杂事件处理中的应用

机器学习方法在异常检测、分类与复杂事件处理中的应用

1. 异常检测概述

在机器学习领域，异常检测是一项重要任务。它可以通过对数据进行分析，识别出那些与正常模式不同的异常实例。在异常检测中，有多种方法可供选择，不同方法具有各自的特点和适用场景。

1.1 基于变换操作的异常检测

对于经过变换操作 (T_j) 增强的实例，通过最小化损失函数（如交叉熵损失函数 (CE)），可以得到分类器 (\psi) 的优化表示。然后，应用特征学习器 (\psi(\cdot,\theta^ ) ) 和分类器 (\varphi(\cdot,W^ ) ) 来获取测试实例的分类分数。不同 (T_j) 下每个测试实例的分类分数会被聚合以计算异常分数。训练在每个 (T_j) 上的分类分数期望遵循狄利克雷分布，也可以简单地对不同 (T_j) 相关的分类分数取平均值。

在半监督设置中，训练数据仅包含正常实例。研究发现，在训练自监督多类分类模型时，正常实例引起的梯度大小通常比异常值大得多，并且网络更新方向偏向正常实例。因此，正常实例通常比异常实例更符合分类模型。评估异常分数的策略有最大预测概率、平均预测概率和所有预测概率的负熵，其中负熵的异常分数表现通常更好。

1.1.1 优点

• 适用于无监督和半监督设置。
• 异常评分基于梯度大小及其更新的一些内在属性。

1.1.2 缺点

• 特征变换操作可能依赖于数据，所描述的变换操作仅适用于图像数据。
• 基于一致性的异常分数是从分类分数获得的，不是优化中的集成构建块，可能