46、基于模式识别的上下文异常分布检测

基于模式识别的上下文异常分布检测

1. 引言

软件安全的一个基本方面是通过正式或半正式的规范对其预期操作域进行建模，明确程序何时适合部署。然而，对于机器学习程序，尤其是基于人工神经网络（ANN）的视觉分类器，很难定义这样的边界。这些分类器处理高维数据（如图像、视频），并且是复杂优化过程的结果。

在这种情况下，异常分布（OoD）检测旨在检测ANN的输入是在分布内（ID）还是分布外，具有以下几个目的：
- 帮助描述ANN在有界数据集之外的操作范围。
- 作为ANN泛化能力的替代度量。
- 帮助评估输入何时离操作域太远，从而防止程序的误用并提高其安全性。

当前的OoD检测方法缺少对决策提供解释的能力。大多数方法基于系统行为的统计模型，建立在输入数据的抽象表示之上，有时使OoD检测成为一个不透明的决策，对最终用户来说可能显得随意。而可解释人工智能（XAI）领域的方法可以提供模型决策过程的见解，可用于构建OoD检测模型，并提供上下文信息来证明其决策的合理性。

本文的贡献如下：
1. 引入基于ID数据集扰动的新基准，为ID和OoD数据集之间的差异提供已知且可量化的评估，作为比较各种OoD检测方法的参考值。
2. 提出CODE，一种无需对原始分类器进行微调的OoD无关检测方法。模式识别使我们能够提供ID数据集中的图像作为参考点来证明决策的合理性，并与现有方法进行广泛比较以展示其能力。

2. 相关工作

2.1 异常分布检测

本文关注适用于预训练分类器的方法，排除了将置信度度量学习集成到模型训练目标中的方法，以及贝叶斯深度学习领域旨在通过设计捕获不确定性的特定架