要相信光

半监督学习FixMatch，同时利用伪标签和一致性进行SSL

π model，时间融合模型，半监督学习代表作《temporal ensembling for semi-supervised learning》

SwAV，使用在线聚类进行表征学习Unsupervised Learning of Visual Features by Contrasting Cluster Assignments

CVPR18 oral, FINCH, 无需指定超参数的无监督聚类算法

谷歌云AI Research团队2022异常检测新工作

本文不会设计到数学公式的推导，而是从抽象层面对谱聚类进行叙述，并介绍几个改进的算法。试图给读者留有一些印象，了解谱聚类的基本概念、特性，在以后需要的时候可以进行尝试。

文章目录原文地址初识相知回顾原文地址ICCV原文地址初识在无监督设置下，学习密集语义表征(dense semantic representations)是一个非常重要的问题，这引导网络学习像素级的语义表征/嵌入，这对无监督语义分割非常重要。如果解决了这个问题，那么后续直接使用K-Means聚类将每个像素聚集到对应的sematic groups就可以执行语义分割。目前采用的无监督表征学习(自监督学习)通常学习到的是图像级的表征【比如进行实例判别的对比学习】，无法表征其具有像素判别性。而一个好的像素

文章目录原文地址初识相知回顾原文地址https://arxiv.org/pdf/2104.03602.pdf【萨里大学】初识采用ViT进行在无标注数据集上进行自监督学习，降低ViT对大数据量训练的依赖，为视觉Transformer学习一个好的表征，用于下游任务。为达到这个目的，文中提出了SiT(Self-supervised vIsion Transformer)，网络结构如下图所示，包括三个pretext task：重建任务、旋转方向预测以及对比学习。相知网络架构：SiT的网络结构如上图

文章目录前言P-NetMEMSTC-Net总结前言不管是医学图像还是工业图像领域，异常检测都是非常重要的一个研究方向（在训练时只有正常样本，测试时需要模型判断输入样本是否存在异常）。存在一个先验：正常/健康的样本都存在着规律性的结构，而异常样本由于异常/病变区域的存在，其结构通常会被损坏【如上图所示，其展示了"眼底图像中的结构化血管"，“光学相干断层扫描图像中的结构化解剖结构”】。那么，如何利用图像这种结构-纹理的关系到异常检测中来呢？本文介绍上海科技大学Kang Zhou分别在ECCV2020和T

文章目录前言1. 基于Deep SVDD1.1 Deep SVDD2. 基于SPADE2.1 SPADE (CVPR2021)前言异常检测领域中，基于嵌入的方法指的是：将图像送入模型，提取特征，并在对应的特征空间中学习分界面。与重构方法的主要不同在于，其不在RGB图像空间而是在高维的特征空间中进行异常检测；与自监督的方法不同，不过于依赖额外的负样本的构造 / 代理任务的设计，主要考虑的特征空间中的差异。1. 基于Deep SVDD1.1 Deep SVDD2. 基于SPADE2.1 SPADE

文章目录前言1. 基线 AE/VAE2. 基于inpainting思想2.1 SMAI (BMVC2020)2.2 SCADN (AAAI2021)2.3 RIAD (PR2021)3. 基于Memory Bank3.1前言在图像异常检测中，基于重构的方法是一种很自然的思想：构建一个Encoder-Decdoer结构的网络执行重构任务，目标是让模型能够重构好正常样本。那么在测试时，对于正常样本仍然能够正常重构，而异常样本由于分布的差异，导致重构效果较差，从而可以通过像素级的比较得到异常得分，判断一个样本

文章目录原文地址论文阅读方法前因初识相知分析问题具体技术回顾原文地址https://arxiv.org/pdf/2111.06377.pdf论文阅读方法三遍论文法前因最近没太关注自监督学习领域的进展，但最近几天公众号都在疯狂推送这篇kaiming大佬的自监督学习新作《MAE》，抱着好奇的态度看了一下，有一些自己的感悟和思考。此外，这篇文章在知乎上也引起了大佬们的广泛讨论，以及也有很多不错的博客进行了分析。[1] 知乎讨论链接[2] https://mp.weixin.qq.com/s/hG

文章目录原文地址论文阅读方法初识相知回顾代码原文地址原文论文阅读方法三遍论文法初识对比学习这两年在自监督学习、无监督学习任务中非常火，取得了非常优秀的性能。这个工作就是想办法将其用在监督学习任务中，在训练过程中更有效地利用标签信息。文章研究的点主要在于对比学习在分类任务中的应用作者首先分析了分类任务中最常采用的交叉熵损失函数的缺点：① 对噪声数数据缺乏鲁棒性; ② 分类边界的问题(the possibility of poor margins)。这样会导致模型泛化能力下降，因此也有不少工

无监督异常检测领域进展研究，包括了概念介绍、常用数据集介绍、方法分类等等。

文章目录原文地址论文阅读方法初识相知核心技术实验几何变换回顾开源代码原文地址论文阅读方法三遍论文法初识但摘要和简介来看，本文的idea很简单也很新颖(毕竟18年的会议文章)，核心就是对输入图像进行各种几何增广得到不同的版本。然后构造一个多分类模型，让模型预测增广的类别（比如旋转、翻转或者是平移等等）。通过执行这样的任务，作者观察到可以让模型学习到一些对异常检测（图像语义级）有用的特征。在测试时，对测试图像也进行同样的增广与预测，根据模型得到的softmax概率向量来计算得到异常分数，从而进行异常

文章目录原文地址论文阅读方法初识相知核心技术理论分析实验分析回顾开源代码（非官方）原文地址待补充论文阅读方法三遍论文法初识本文主要提出了一个新的增广方法“CutPaste”，并基于此方法提出了一个两阶段的无监督异常检测方法，① 构建分类器区分正常样本与异常样本，作为代理任务（proxy task）学习特征表示；② 根据训练好的网络提取特征，用于检测异常。此方法在MVTec数据集上表现达到新SOTA(检测任务96.6AUC，定位任务96AUC)。CutPaste：从图像中随机剪切一个块区域，

原文地址https://arxiv.org/pdf/2104.13897v1.pdf论文阅读方法三遍论文法初识GAN，AE这类基于重构的异常检测方法，缺点在于其对于异常样本的重构也非常好，这会导致检测错误。而目前出现的一些方法将生成重构的问题转换为inpainting问题来进行异常检测，inpainting就是将图像对某些区域进行覆盖，然后进行恢复，也可以视为一种自监督方法。解决inpainting这类问题，从更大的区域捕获长距离语义信息有助于覆盖区域的重建。但CNN由于感受野的限制，其不善于捕

MemAE论文名全称《Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection》文章目录MemAE原文地址论文阅读方法初识相知回顾代码原文地址https://arxiv.org/abs/1904.02639论文阅读方法三遍论文法初识深度自编码器被广泛地用于无监督异常检测领域，但它存在一个问题：对于一些异常区域往往也能重构得很好，从而导

Uninformed students: Student-teacher anomaly detection with discriminative latent embeddings 论文分析

文章目录原文地址论文阅读方法初识相知回顾原文地址https://arxiv.org/pdf/1911.08616.pdf论文阅读方法三遍论文法初识本文提出CAVGA (Convolutional Adversarial Variational autoencoder using Guided Attention) 网络，主要利用Attention Map作为监督：在对异常没有任何先验的情况下，Attention Map需要覆盖整张正常图像，测试时利用Attention Map来定位图像中异常区域

文章目录原文地址论文阅读方法初识相知2. Method3. Results4. Ablations5. Discussion回顾代码文章目录原文地址论文阅读方法初识相知2. Method3. Results4. Ablations5. Discussion回顾代码原文地址https://arxiv.org/abs/2103.03230论文阅读方法三遍论文法初识背景：近两年自监督学习取得了很大的成功，其中主流的方法就是使网络学习到输入样本不同失真(distortions)版本下的不变性特征，但是

文章目录原文地址论文阅读方法初识相知2. Method3. Experimental Results回顾原文地址https://arxiv.org/pdf/2010.09856.pdf论文阅读方法三遍论文法初识对于异常检测任务，全监督的方式容易在测试时偏重于某几种类别(训练时见过的)，并且样本的标注需要巨代价。而无监督学习中，Deep SVDD和Deep SAD为单分类模型的代表，前者会出现崩坏(collapse)，而后者会忽略图像的基本结构。基于重构的方法(例如GAN, CAE)有时候对异常样

文章目录原文地址论文阅读方法初识相知2. related work3. Methodology4. Experiments回顾代码地址原文地址https://arxiv.org/abs/2006.10645论文阅读方法三遍论文法初识 背景：DC(Deep Clustering)在训练时交替进行“聚类”与“网络学习”，在无监督表示学习领域达到了很好的效果，但**其学习过程是不稳定的**。这主要是由于DC的离线学习机制，在不同的epoch中样本标签发生改变，导致网络学习不稳定。关于Deep

文章目录原文地址论文阅读方法初识相知2. Related Work3. Method4. Experiments & 5. Discussion回顾参考代码地址原文地址https://arxiv.org/abs/1807.05520论文阅读方法三遍论文法初识背景：① 深度学习的发展使得很多领域都取得了惊人的进步，特别是在图像分类领域，准确率已经达到超过人类的水平，然而现在通过改变网络的结构对分类准确率的影响已经越来越小，因此人们把关注点放在扩充数据集上，现有的常见数据集规模相对现在深度

文章目录原文地址论文阅读方法初识相知2. Related Work3. Deep SVDD4. Experiments回顾代码原文地址http://data.bit.uni-bonn.de/publications/ICML2018.pdf论文阅读方法三遍论文法初识本文主要提出一种全新的异常检测方法：Deep SVDD（Deep Support Vector Data Description）用于图像级别的异常检测。采用神经网络提取图像特征，构造单分类目标函数。相知2. Related Wo

《MVTec AD：A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection》简介MVTec AD是MVtec公司提出的一个用于异常检测的数据集，发布于2019CVPR。与之前的异常检测数据集不同，该数据集模仿了工业实际生产场景，并且主要用于unsupervised anomaly detection。数据集为异常区域都提供了像素级标注，是一个全面的、包含多种物体、多种异常的数据集。训练集中只包含正常样本，测试集中包.

文章目录为什么需要自监督学习？什么是自监督学习？Pretext Task进一步理解Pretext TaskClustering & Contrastive LearningContrastive Self-supervised Learning LearningDeep InfoMaxContrastive Predictive CodingLearning Invariance with Contrastive LearningScaling the number of negative exam

文章目录原文地址论文阅读方法初识（Abstract & Introduction & Conclusion）相知（Body）2. Related Work3. Methodology3.1 General Framework3.2 Failure Detection3.3 Anomaly Segmentation3.4 Analysis4. Experiments4.1 Failure DetectionEvaluation MetricsThe Cityscape Dataset: the