读论文：Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings

最新推荐文章于 2024-09-27 16:52:49 发布

原创

最新推荐文章于 2024-09-27 16:52:49 发布 · 2.4k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

本文介绍了一种基于教师-学生模型的新型无监督异常检测方法。该方法使用预训练的教师模型指导未预训练的学生模型，通过对比两者的输出来识别异常。在训练过程中仅使用正常样本，并将图像分割为小块进行分析，以定位异常位置。

目前实际的异常检测遇到的一个很大的困难，是在实际的场景中（例如工业流水线等），异常样本往往很难获得，甚至很多时候没有异常样本。这就迫使我们采用semi-supervised或者unsupervised的方法。接下来介绍的文章也都是semi-supervised或者unsupervised的方法。所以现在的异常检测主要通过： generative algorithms such as Generative Adversarial Networks (GANs) or Variational Autoencoders (VAEs，变分自动编码器 )的方法。
这篇论文没有提供代码，但是有人浮现了这篇论文：
https://github.com/taikiinoue45/STAD
在这里插入图片描述
图1 训练过程

这里的teacher网络和student网络结构是一致的，但是teacher网络用的是带有预训练模型的，而student网络没有。训练数据都是正常数据，teacher网络是锁死的，但student网络需要更新，目的是让student网络具有和teacher网络一样的推理能力。

在这里插入图片描述图2 推理过程
把图像分成块，分别输入teacher和student网络，计算loss，判断是否为异常。
这篇文章基于两个假设：

在仅包含正常样本的数据集上，让pretrained的teacher模型去教没有pretrain的student模型，使得teacher模型和student模型输出的embedding尽可能一致。那么在inference时，由于teacher只教过student如何embed正常样本，所以正常样本上teacher模型和