图像生成/Data synthesis在异常检测anomaly detection中的主要作用

最新推荐文章于 2025-05-29 11:48:22 发布
原创 最新推荐文章于 2025-05-29 11:48:22 发布 · 1.3k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #深度学习 #人工智能 #视觉检测 #算法

在近几年一些SOTA的异常检测算法中，很多都是基于扩散模型diffusion model的，同时很多论文的思路都放在了生成逼真的异常图像来辅助异常检测上，例如CVPR2024 RealNet、ECCV2024 GLAD等。

开始时不太理解异常检测为什么要把重点放到异常合成/异常生成上，借助RealNet论文与deepseek简单写下自己的理解：

在异常检测任务中，生成异常样本的主要目的是弥补真实异常数据的稀缺性，并通过可控的合成异常帮助模型学习更鲁棒的特征表示，从而提升检测性能。以下是具体分析：

异常生成的主要目的

  1. 解决真实异常数据不足的问题

    • 工业场景限制：实际生产中异常样本极少（甚至为零），直接依赖真实异常数据训练模型不现实。
    • 多样性需求：异常类型复杂多变（如裂纹、污染、装配错误等），生成可控的合成异常可覆盖更多潜在异常模式。

  2. 构建自监督学习信号

    • 训练范式：通过生成逼真异常，将异常检测任务转化为“区分正常样本与合成异常样本”的二分类问题，无需真实异常标签。
    • 特征学习：模型在重建正常样本（如Autoencoder）或对比正常/异常样本时，能更关注对异常敏感的局部特征（如纹理突变、结构错位）。

  3. 模拟真实异常的分布特性

    • 扩散模型优势：论文提出的SDAS利用扩散模型生成与正常图像分布接近的异常样本，避免了传统方法（如随机遮挡、噪声注入）生成不真实的异常（图2对比）。
    • 强度可控性：通过调节扰动参数，生成不同强度的异常（从轻微到严重），使模型适应多尺度检测需求。

异常生成与异常检测的关系

  1. 直接驱动特征优化

    • 异常感知特征选择（AFS）：模型在合成异常与正常样本的重建误差对比中，自动筛选出对异常敏感的特征通道（如高频纹理、边缘信息），抑制冗余特征（如背景光照变化）。
    • 关系：生成异常提供了“负样本”，迫使模型学习区分性特征，而非单纯记忆正常模式。

  2. 提升检测灵敏度与泛化性

    • 覆盖未知异常：合成异常可模拟未见过的缺陷类型，避免模型仅对训练集中已知异常过拟合。
    • 残差选择（RRS）：通过多尺度重建残差的自适应融合，模型能同时捕捉微小异常（如芯片划痕）和大范围异常（如整片污染）。

  3. 降低对预训练模型的依赖

    • 传统问题：现有方法依赖ImageNet预训练模型提取特征，但工业图像的局部异常可能与自然图像特征不匹配。
    • 解决思路：通过合成异常数据微调特征选择，减少预训练模型的领域偏差（如AFS筛选后的特征更适配工业缺陷）。

关键对比：传统生成 vs. 本文生成

方法传统异常生成本文SDAS生成
生成方式随机遮挡、噪声注入、纹理粘贴扩散模型反向过程+强度控制
真实性局部不自然，与正常分布差异大全局协调，符合正常图像分布
控制维度仅能控制位置/大小可调节异常强度（s参数）
与检测任务适配性可能引入干扰特征直接优化检测相关的特征敏感度

总结

  • 异常生成的核心目的：通过高质量合成数据弥补真实异常稀缺性，驱动模型学习区分性特征，而非依赖有限的真实异常样本。
  • 与检测任务的关系：生成异常是自监督训练的“催化剂”，通过模拟真实异常分布，使模型在无监督/弱监督条件下更精准定位异常区域。
  • 创新性体现：传统方法依赖人工设计的异常生成规则，而RealNet通过扩散模型实现了数据驱动的异常生成，更贴近工业场景的真实需求。
缺陷或负样本难以收集怎么办？使用生成式模型自动生成训练样本，image-to-image Stable diffusion
shiter编写程序的艺术
08-28 3321
面对这种情况，工程师一般会利用PS工具，或在良品上人为制造缺陷，或在产线蹲守等方式来获取足量缺陷图。不同数据的形式（图像或者文本，是否有缺失），数据的规模（样本数和维度大小），数据中存在的结构信息（稀疏、低秩），选择的模型都应该不一样。数据增广，就是尽可能产生更多的样本，比如，一张图像，通过裁剪、变换、翻转、加噪声，获得更多样本；使用k折交叉验证训练模型，可以提供模型的精度，防止划分数据的随机性。缺陷检测实验中，基于学习的缺陷检测算法，受困于缺陷样本少。迁移其他数据进行模型学习，并根据任务微调模型。
【2023工业图像异常检测文献】GRAD: 基于异常生成和重权密集对比模式的异常检测方法
qq_1532145264的博客
11-08 1415
Generating and Reweighting Dense Contrastive Patterns for Unsupervised Anomaly Detection
异常检测(无监督，生成模型)—SimpleNet: A Simple Network for Image Anomaly Detection and Localization
weixin_62848630的博客
04-18 7782
1.一个预训练(在imageNet上预训练)的特征提取器，生成本地特征。3.一个简单的异常特征生成器，通过向正常特征添加高斯噪声来伪造异常特征。4.一个二分类异常鉴别器，将异常特征与正常特征区分开来。2.一个浅层特征适配器，将本地特征转移到目标域。
【查漏补缺】异常检测是生成模型吗？是无监督模型吗？常用的模型有哪些？
页页读
03-26 877
自编码器通常由两部分组成：编码器（Encoder）和解码器（Decoder）。编码器的任务是将输入数据压缩成一个低维表示（即潜在空间），而解码器则尝试从这个低维表示中重构原始数据。编码器：可能包含多层，每一层都进一步压缩数据，直到达到一个编码（低维表示）。解码器：结构通常与编码器镜像对称，逐层将编码扩展回原始数据的维度。
异常数据生成开发说明书
仰望星空的博客
04-12 459
im = cv2.imdecode(np.fromfile(‘c:\测试\1.jpg’, dtype=np.uint8), cv2.IMREAD_UNCHANGED) # The image path has chinese character. cv2.imencode(’.jpg’, im)[1].tofile(‘C:\测试\你好.jpg’) # The image path has chin...
CVPR2025重磅突破：AnomalyAny框架实现单样本生成逼真异常数据，破解视觉检测瓶颈！
yyyyyybw的博客
05-29 1040
本文介绍了一种名为AnomalyAny的创新框架，该方法利用Stable Diffusion的强大生成能力，仅需单个正常样本和文本描述，即可生成逼真且多样化的异常样本，有效解决了视觉异常检测中异常样本稀缺的难题，为工业质检、医疗影像等领域提供了新的解决方案。在工业质检、医疗影像等领域，视觉异常检测（Visual Anomaly Detection, AD）是保障质量与安全的关键技术。然而，
【2024工业图像异常检测文献】GLASS: 基于全局和局部异常共合成策略的异常检测方法
qq_1532145264的博客
10-23 4241
A Unified Anomaly Synthesis Strategy with Gradient Ascent for Industrial Anomaly Detection and Localization
【论文阅读】An Introduction to Image Synthesis with Generative Adversarial Nets --- 文本to图像，图像to图像生成，图像合成
me_yundou的博客
10-31 1323
论文原文链接： 本博客根据博主对本论文的阅读和理解所写，重点关注个人理解方便，非逐句翻译，望周知。如需深入了解论文详情，请阅读原文。 作者：He Huang, Philip S. Yu(University of Illinois at Chicago) and Changhu Wang (ByteDance AI Lab)； 发表位置：Arxiv 2018； 摘要：GAN在许多领域展现出强大能力，比如计算机视觉和NLP。在众多GAN的应用中，image synthesis是研究地最深入的领域，充.
CVPR2023检测相关Detection论文速览上
weixin_44287798的博客
06-22 1834
CVPR2023论文速览Detection上
深度工业图像异常检测调查|Deep Industrial Image Anomaly Detection: A Survey
m0_63828250的博客
03-31 4350
近期深度学习的迅速发展在工业图像异常检测（IAD）领域标志着一个重要的里程碑。在本文中，研究者对基于深度学习的图像异常检测技术进行了全面的回顾，从神经网络架构、监督水平、损失函数、评价指标和数据集等多个角度进行考察。此外，本文从工业制造中提取出一个有前景的设置，并在提出的设置下回顾当前的IAD方法。更进一步，本文突出了图像异常检测领域中几个尚未解决的挑战。在不同的监督水平下，代表性网络架构的优点和缺点被深入讨论。最后，文章总结了研究发现，并指出了未来研究的方向。
【2023工业图像异常检测文献】工业图像异常检测综述
qq_1532145264的博客
10-29 2817
Deep Industrial Image Anomaly Detection: A Survey
异常检测：建立模型来检测数据中的异常值，如故障检测或欺诈检测
斌擎科技
10-02 274
异常检测是识别数据中不符合预期模式的观测值的过程。在很多情况下，异常值可能是数据中的极端或罕见的观测值，可能代表了潜在的问题或异常情况。异常检测在欺诈检测、故障检测、网络安全和质量控制等领域有广泛的应用。为了建立异常检测模型，我们需要一个包含正常和异常观测值的数据集。在本文中，我们将使用一个示例的信用卡欺诈检测数据集。# 读取数据集# 数据预处理。
异常检测(无监督，生成模型)—DRÆM – A discriminatively trained reconstruction embedding for surfaceanomaly detect
weixin_62848630的博客
11-24 2139
注：因为模型分为重构模块和判别模块，比较大，测试时将batch_size设为1cuda内存都不够，在测试代码中加 with torch.no_grad(): 即可。
Anomaly Detection异常检测基础
weixin_44056948的博客
09-25 546
什么是 Anomaly（异常）？ 虽然说是 异常，但其实是以训练集为核心，判断输入数据是否与训练集中的数据 “类似”。在不同的领域可以有不同的叫法，比如：outlier Detection，novelty Detection，exceptions Detection。 至于什么才是“类似”，它的定义这取决于你所用的方法。如下图所示，如果你给的训练集只有雷丘，那么比卡丘就是“异常”；相反，如果你给的训练集是比卡丘，那雷丘就是“异常”。 什么是异常取决于你所给的训练集 1.1 问题定义 Problem F.
异常检测：深度学习驱动的半监督图像异常识别框架
gitblog_00091的博客
05-25 527
异常检测：深度学习驱动的半监督图像异常识别框架 项目简介 Anomaly Detection是一个基于Deep Learning的开源项目，提供了从头到尾的解决方案，用于在图像中进行半监督的异常检测和分割。该框架设计巧妙，采用阈值像素差异来定位异常区域，并通过自动调整阈值，优化对缺陷面积的处理。 项目受到了MVTec AD和Structural Similarity Autoencoders等研究...
【2024工业图像异常检测文献】AnomalyDiffusion: 基于扩散模型的少样本异常图像生成
qq_1532145264的博客
10-31 3899
AnomalyDiffusion: Few-Shot Anomaly Image Generation with Diffusion Model
数据挖掘（异常检测）task1
weixin_46714700的博客
05-11 723
1、什么是异常检测 1.1 异常的类别 点异常（point anomalies）指的是少数个体实例是异常的，大多数个体实例是正常的，例如正常人与病人的健康指标； 条件异常（conditional anomalies），又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例如在特定时间下的温度突然上升或下降，在特定场景中的快速信用卡交易； 群体异常（group anomalies）指的是在群体集合中的个体实例出现异常的情况，而该个体实例自身可能不是异常，在入侵或欺诈检测等应用中，离群点
【异常检测论文】Anomaly Detection综述
小苏打的学习博客
10-29 6045
一、简介 异常检测一直是机器学习中一个非常重要的子分支，在各种人工智能落地应用例如计算机视觉、数据挖掘、NLP中，异常检测算法都是很热门的研究方向，特别是大数据时代，人工处理数据的速度已经远远赶不上机器了，所以更快地检测数据中的异常情况成为了我们当下非常重要的任务。在深度学习广泛的推广之前，传统的异常检测算法有很多，例如高斯拟合，半监督学习等等，而在深度学习大火之后，人们也开始研究将深度学习应用于各种异常任务中(也就是Deep Anomaly Detection，以下统称DAD)，并取得了很大的成功，本文将
A Unified Anomaly Synthesis Strategy with Gradient Ascent for Industrial Anomaly Detection and Localization
最新发布
06-17
### 基于梯度上升的统一异常合成策略在工业异常检测和定位中的应用 一种基于梯度上升的统一异常合成策略（Unified Anomaly Synthesis Strategy using Gradient Ascent）被提出，用于工业异常检测和定位。这种方法的核心思想是通过梯度上升技术生成与实际系统中可能发生的异常相似的样本[^1]。这些合成的异常样本可以用来增强模型的鲁棒性，特别是在训练数据不足的情况下。 #### 方法概述 该策略首先利用深度学习模型对正常数据进行建模，然后通过梯度上升调整输入数据，使得模型输出偏离正常范围。这一过程能够有效生成接近真实异常的数据点。具体而言，梯度上升的目标函数设计为最大化模型预测误差或特定特征的激活值，从而引导生成的样本向异常方向演化[^2]。 #### 技术实现 在技术实现方面，研究人员开发了一个开源代码库，提供了详细的实现步骤和示例代码[^3]。以下是一个简单的代码示例，展示了如何使用梯度上升方法生成异常样本： ```python import torch import torch.nn as nn # 定义模型 class Model(nn.Module): def __init__(self): super(Model, self).__init__() self.fc = nn.Linear(10, 1) def forward(self, x): return self.fc(x) # 初始化模型和输入 model = Model() input_tensor = torch.randn(1, 10, requires_grad=True) # 定义目标函数：最大化模型输出 optimizer = torch.optim.SGD([input_tensor], lr=0.1) for _ in range(100): optimizer.zero_grad() output = model(input_tensor) loss = -output.mean() # 梯度上升 loss.backward() optimizer.step() # 输出生成的异常样本 print("Generated Anomalous Sample:", input_tensor.detach().numpy()) ``` 上述代码通过最大化模型输出的方式生成异常样本。这种方法特别适合处理高维数据，例如图像或时间序列信号。 #### 工业应用 在工业系统中，异常检测和定位是一项关键任务，尤其是在复杂环境中，如制造生产线或能源管理系统。通过引入基于梯度上升的异常合成策略，可以显著提升模型对罕见异常的识别能力。此外，这种方法还能够在缺乏标注数据的情况下，通过生成近似真实的异常样本来改善模型性能[^1]。 #### 优势与挑战 这种方法的主要优势在于其灵活性和通用性，可以应用于多种类型的工业数据。然而，也存在一些挑战，例如生成的异常样本可能不够逼真，或者需要大量计算资源来优化梯度上升过程[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

↣life♚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值