2025_NIPS_Hierarchical Vector Quantized Transformer for Multi-class Unsupervised Anomaly Detection

文章主要内容和创新点总结

一、主要内容

本文聚焦多类别无监督异常检测（UAD）的“一刀切”（one-for-all）场景，旨在构建统一框架解决传统方法中“相同捷径”（异常与正常样本均能被良好重建，难以区分）、码本崩溃及多类别分布建模复杂等问题。

模型核心为分层向量量化Transformer（HVQ-Trans），整体流程如下：

1. 采用预训练EfficientNet提取图像视觉令牌，经级联 vanilla Transformer编码器聚合多层特征；
2. 通过分层向量量化（HVQ）层将特征量化为离散的标志性原型（存储正常样本典型模式），避免连续潜空间的扭曲；
3. 引入切换机制，为每个类别匹配独立码本和重建专家，适配多类别数据多样性；
4. 利用基于原型的最优传输（POT）模块，强化码本与正常特征的一致性，并通过分层异常评分校准，提升检测与定位精度；
5. 经级联VQ-Transformer解码器重建特征，通过正常与异常样本的重建误差差异实现异常识别。

在MVTec-AD、VisA和CIFAR-10数据集上的实验表明，该模型在图像级异常检测和像素级异常定位任务中均优于现有最先进方法，且具备良好的可解释性。

二、创新点

1. 离散潜空间建模：摒弃连续特征表示，通过向量量化（VQ）将正常样本的典型模式存储为离散标志性原型，从本质上缓解“相同捷径”问题，使异常样本重建时产生更大信息损失和误差。
2. 分层VQ框架