34、ADTR：基于特征重建的异常检测Transformer

ADTR：基于特征重建的异常检测Transformer

1 引言

在生产线上，异常样本极度缺乏，因此仅利用正常样本的先验知识进行异常检测受到了越来越多的关注。从统计学的角度来看，异常可以被视为正常样本分布的离群值。在这种情况下，基于卷积神经网络（CNN）的重建模型，如自动编码器（AE）、变分自动编码器（VAE）和生成对抗网络（GAN），通常被用于对正常样本的分布进行建模。

这些方法基于泛化差距的假设，即仅使用正常样本进行训练的模型在重建正常样本时能够成功，但在重建异常样本时会失败。异常检测通过样本与其重建之间的距离度量来进行。然而，现有的基于CNN的像素重建方法存在两个问题：
- 表示能力差 ：重建目标是原始像素值，语义信息较差。当正常和异常区域具有相似的像素值但不同的语义信息（如不同的纹理）时，这些像素重建方法通常会失败。
- 容易学习“相同映射” ：CNN倾向于走捷径学习一种“相同映射”，这意味着异常区域也能被很好地重建，使得正常样本和异常样本仍然难以区分。

因此，本文提出了一种基于Transformer的异常检测方法ADTR，通过重建预训练特征来解决上述问题。预训练特征包含可区分的语义信息，并且Transformer的使用限制了对异常的重建，使得异常在重建失败时更容易被检测到。此外，还提出了新的损失函数，使该方法能够兼容仅使用正常样本和使用少量异常样本的情况。

2 相关工作

现有的异常检测方法大致可分为两类：基于重建的方法和基于投影的方法。

2.1 基于重建的方法

这类方法假设使用正常样本训练