【2020工业图像异常检测文献】SPADE: 基于深度特征金字塔对齐的图像异常检测

原创

已于 2024-09-30 16:27:39 修改 · 1.3k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉 #深度学习 #机器学习 #图像处理 #视觉检测 #神经网络 #目标检测

于 2024-09-21 16:00:26 首次发布

Sub-Image Anomaly Detection with Deep Pyramid Correspondences

1、Background

利用深度预训练特征的最近邻（ kNN ）方法在应用于整个图像时表现出非常强的异常检测性能。kNN 方法的一个局限性是缺乏描述图像中异常位置的分割图。

为了解决这一问题，提出了语义金字塔异常检测（SPADE）方法 使用基于多分辨率特征金字塔的对应关系。

SPADE 方法包括的 3 个阶段：

（1）使用预训练的深度神经网络（例如 ImageNet 训练的 ResNet）提取图像特征；

（2）最近的 K 个正常图像到目标的最近邻检索；

（3）在目标和正常图像之间找到密集的像素级对应关系，在检索到的正常图像中没有近匹配的目标图像区域被标记为异常。

2、Method

SPADE 方法主要由 3 个部分组成：

图像特征提取
- 使用一个在大量图像上预训练过的深度神经网络（例如ResNet）来提取图像的特征。这些特征能够捕捉图像的重要信息，比如形状、纹理等。
K最近邻正常图像检索
- 使用欧几里得距离等度量方法来计算目标图像与数据库中每张正常图像之间的距离。
- 从数据库中检索与目标图像特征向量距离最近的 K 张图像。这些图像被认为是与目标图像最相似的正常图像。
具有深度特征金字塔对应的像素对齐
- 在目标图像和找到的正常图像之间建立像素级的对应关系。这意味着算法会逐像素地比较图像之间的差异，寻找那些在正常图像中找不到对应物的像素点。
- 如果目标图像的某个像素在正常图像中找不到相似的对应像素，那么这个像素就可能属于异常区域。通过这种方式，算法不仅能判断一张图像是否包含异常，还能精确地指出异常发生在图像的哪个部分。
- 为了更准确地建立像素间的对应关系，SPADE采用了一种叫做“特征金字塔”的技术。这涉及到使用不同层次的特征，从细节到全局，来描述每个像素。这样可以确保即使在图像的很小一部分中，也能准确地找到异常。

pseudo-code

# 伪代码：Semantic Pyramid Anomaly Detection (SPADE)

# 输入:
# images - 包含所有图像的集合（正常图像和待检测图像）
# model - 预训练的深度学习模型（如ResNet）
# k - 最近邻检索的数量
# kappa - 像素级最近邻检索的数量
# threshold_distance - 用于确定异常的阈值

# 输出:
# anomaly_maps - 包含每个图像异常区域的分割图

def