基于U-Net+残差网络的语义分割缺陷检测

最新推荐文章于 2025-07-11 14:46:35 发布
原创 最新推荐文章于 2025-07-11 14:46:35 发布 · 1.6w 阅读 · 113 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了基于U-Net的语义分割模型在缺陷检测中的应用，通过结合残差网络增强特征表达能力。实验表明，增加ResNet块的U-Net对大缺陷区域分割效果良好，但对小缺陷区域效果不佳。因此，提出了引入生成对抗网络(GAN)以改进模型，利用GAN的监督反馈提高对小缺陷区域的分割能力。训练过程包括交替训练判别式和生成式网络，以优化L1损失和判别式损失。文章鼓励读者尝试实现这一算法改进。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、介绍

基于深度学习的缺陷检测主要集中在场景识别、object detection等方法，近年来，推出了一系列优秀的语义分割模型，比如SegNet、FCN、U-Net等。语义分割模型被广泛的应用到场景识别、道路分割等领域中，缺陷检测领域也逐渐接受该模型。

本博文主要关注和实现基于U-Net的语义分割模型。

二、U-Net

如下图所示，这是U-Net的核心思想，从编码到解码，编码过程就是下采样，解码时，把同级的编码特征进行拼接，一起上采样。

详细算法请参考：https://blog.youkuaiyun.com/natsuka/article/details/78565229
在这里插入图片描述

U-Net由于把编码特征加入到解码特征中，可以在小数据量下取得很好效果，但是有个问题，U-Net网络不够深，对特征的表达不够准确，残差网络之所以取得这么好的分类效果其实就是网络足够深，一般来说网络更深，表达能力更强。

下面是改进的U-Net，其中ResNet Block数量为6。

在这里插入图片描述

三、实验数据

如下图所示，对缺陷的地方直接赋值像素为255，其它区域像素值保持不变，这样就可以生成标签数据。在代码中，对训练图像和标签图像分别进行0~1处理，对输入图像直接除以255，对标签图像，生成二进制图像，像素值为255，则置1，否则置0。
在这里插入图片描述
在这里插入图片描述

四、测试结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章

200万优质内容无限畅学
【PyTorch项目实战】语义分割：U-Net、UNet++、U2Net
shinuone的博客
02-11 8596
图像分割：对图像中属于特定类别的像素进行分类（逐像素分类）。 图像分类：识别图像中存在的内容。 目标检测：识别图像中的内容和位置（通过边界框）。 语义分割：识别图像中存在的内容以及位置（通过查找属于它的所有像素）。
【2025算法面试通关】【四.计算机视觉-传统图像处理】【32. 语义分割与点云处理面试必刷题：U-Net跳跃连接与PointNet核心100题解析 】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
04-10 324
答：输入(N, 3, Np)→卷积后(N, 64, Np)→(N, 128, Np)→(N, 1024, Np)，全局特征通过最大池化得到(N, 1024, 1)，局部特征拼接后为(N, 1024+128, Np)。答：3D U-Net的跳跃连接需处理3D体数据（多一个空间维度），插值方式为三线性插值，卷积核为3×3×3，通道拼接维度为第2维（N, C, D, H, W）。答：密集连接（DenseNet式逐层连接）、金字塔连接（多尺度特征融合）、注意力增强跳跃连接（如引入SE模块或空间注意力）。
基于语义分割和生成对抗网络的缺陷检测算法
qq_29462849的博客
11-07 1万+
一、缺陷类型 如下图所示，缺陷类型主要有缺损和裂纹两个类型。 二、语义分割网络 FCN网络 网上介绍FCN的教程很多，在这里不再详细讲述，具体请参考链接： https://www.cnblogs.com/gujianhan/p/6030639.html https://blog.csdn.net/qq_36269513/article/details/80420363 语义分割网络 U-Net...
基于语义分割网络的小样本表面缺陷检测
04-16
传统工业产品表面缺陷的检测很多时候都依赖于人工肉眼去识别，这严重降低了产品的生产速度，在一定程度上阻碍了社会生产力的进步。为了提高检测效果，降低人工成本，提出了一种基于语义分割网络UNet的小样本表面缺陷检测方法，该方法在UNet网络基础上作了两个方面的改进，在UNet网络基础上加入BN层，将UNet网络和残差网络结合起来，在UNet网络的下采样过程中，加入残差块结构，并分别对加入3、5、7个残差块的检测效果进行了验证实验。实验结果表明，UNet网络加入BN层后的分割检测效果有一定的提高，加入残差块之后，网络缺陷检测效果得到进一步的提升。
入门基于深度学习（以yolov8和unet为例）的计算机视觉领域的学习路线
最新发布
haoyal111的博客
07-11 467
按 YOLOv8 格式准备数据集（images/train, images/val, labels/train, labels/val）阅读相关论文（如 YOLOv8 的技术报告、UNet 论文、CVPR/ICCV/NIPS 论文）配置 GPU（CUDA）加速训练（如使用 Colab / 本地 GPU / 服务器）学习 模型调优（调学习率、batch size、loss函数、网络结构）（如医学图像、交通监控、卫星图像等）比较 YOLOv8 不同模型（nano/small/medium）性能。
vtk c++ 图像分割_ECCV 2020 | 语义分割的落地应用：故障检测与异常检测
weixin_39943799的博客
11-26 358
点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达本文转载自：阿柴和她的CV学习日记注：论文已上传，文末附下载方式论文名：Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation论文地址：https://arxiv.org/abs/2003.08440代码地址：未开...
基于语义分割的钢材表面缺陷检测算法
WithCodeAI的博客
08-09 977
基于语义分割的钢材表面缺陷检测算法
U-Net实现缺陷检测
moumde的博客
08-14 4187
先挖个坑，把之前做过的缺陷检测记录一下，以后有时间再来填坑 U-Net U-Net网络发表于2015年，最开始是用于医学细胞图像分割，但是针对其他的分割问题，U-Net似乎也表现出了不错的性能[2]。该网络结构如下图所示，其整体的流程实际上是一个编码和解码（encoder-decoder）的过程。 U-Net网络是一个经典的全卷积网络，输入为572×572大小的图片，论文中将网络左侧称为contracting path，是由卷积和Max Pooling构成的降采样操作。 contracting path主
使用PyTorch和U-Net架构来实现钢材表面缺陷语义分割检测 3630张图片和对应掩码，三种缺陷类型（夹杂物、补丁、划痕）
QQ_1309399183的博客
12-20 713
使用PyTorch和U-Net架构来实现钢材表面缺陷语义分割检测 3630张图片和对应掩码，三种缺陷类型（夹杂物、补丁、划痕）
吴恩达《深度学习专项》笔记（十二）：目标检测与语义分割简介 (YOLO, U-Net)
a119334的博客
08-09 3651
让我们把前几节的内容总结一下，看一下YOLO算法的全貌。在训练前，我们要对数据做预处理。首先，我们要指定以下超参数：图片切分成多大的格子、每个格子里有多少个锚框。之后，根据这些信息，我们可以得到每一个训练标签张量的形状。比如3×3×2×83×3×2×8的一个训练标签，表示图片被切成了3×33 \times 33×3的格子，每个格子有两个锚框。这是一个三分类问题，对于每一个检测出来的物体，都可以用一个长度为888的向量表示。其中，pcp_cpc​。...
PyTorch项目实战---Unet实现道路裂纹缺陷检测
静静要努力
06-07 7284
Pytorch构建UNet实现道路裂纹检测
Python-基于分割的深度学习表面缺陷检测方法的一个Tensorflow实现
08-11
（秒杀 DeepLabV3 和Unet 的缺陷检测网络）基于分割的深度学习表面缺陷检测方法(cvpr2019)的一个Tensorflow实现
Deep Residual U-Net.pdf
05-08
Road Extraction by Deep Residual U-Net
002unet墙体瑕疵检测-python-pytorch
z_7712414的博客
06-18 297
目标检测包括yolov3、yolov4、yolov5、yolox、PSPnet、faster_rcnn、SDD等。最后运行03predict.py文件即可调用训练好的模型进行识别，比如识别当前文件夹下的102.jpg图像。再运行02train.py会对数据集进行读取进行训练，最后训练得到的模型放置在weights文件夹下。​unet图像分割网络对墙体裂缝图像进行训练，得到的模型可以对图片中带有裂缝的墙体进行识别。其中datasets文件夹下放置的是标签文件json格式和图裂缝瑕疵图片。
pytorch基于Unet的铁轨缺陷语义分割
搬砖小能手
11-18 794
pytorch基于Unet的铁轨缺陷语义分割
万字长文细说工业缺陷检测
极市平台的技术博客
07-23 3273
作者丨皮特潘 编辑丨极市平台 注意：本文从我的一个PPT整理而来，行文可能比较随意，很多细节没有写清楚，后续有时间会持续修改。 上次说到，要写一个系列，最后整理才发现，还是合成一篇比较好一点。 [皮特潘：AI 工业缺陷检测 —— 写在前面的话zhuanlan.zhihu.com(https://zhuanlan.zhihu.com/p/375383384) 主要内容还是围绕着场景分析与数据理解、方法论与算法设计、工具链与部署落地等方面进行展开。重点关注的还是顶层设计，因此涉及到的很多具体的细节没有说太多，仁
【双U-Net残差网络:超分】
weixin_43690932的博客
01-15 3160
仅供自己参考
【干货教学】unet进阶，如何在unet中加入resnet（残差连接）
BluErroR的博客
11-25 1万+
在本教程中，我们将探讨如何在经典的U-Net架构中融入ResNet的残差连接。这种结合了U-Net在图像分割领域的优势和ResNet的残差连接的混合模型，我们称之为ResUnet，旨在通过残差学习改善模型的训练效率和性能。
深度学习实现缺陷检测算法汇总
热门推荐
qq_29462849的博客
02-17 2万+
作者：Tom Hardy Date：2020-1-6 来源：总结|深度学习实现缺陷检测 前言 缺陷检测是工业上非常重要的一个应用，由于缺陷多种多样，传统的机器视觉算法很难做到对缺陷特征完整的建模和迁移，复用性不大，要求区分工况，这会浪费大量的人力成本。深度学习在特征提取和定位上取得了非常好的效果，越来越多的学者和工程人员开始将深度学习算法引入到缺陷检测领域中，下面将会介绍几种深度学习算法在缺陷...
如何通过AI技术优化晶圆制造中的缺陷检测效率？
04-08
<think>嗯，用户问的是如何利用AI技术提升晶圆制造中缺陷检测的效率，需要了解AI在这方面的应用和优化方法。首先，我得回忆一下相关的引用内容，看看有没有可用的信息。引用1提到传统方法使用参考图像进行差异检测，但图像配准的问题会影响性能。引用3也说了传统算法在特定场景下仍有应用，但可能不如AI高效。引用4则讨论了机器学习在工业视觉检测中的应用，包括自动缺陷检测，所以这部分应该很有用。 接下来，用户的问题分为两部分：应用和优化方法。应用方面，AI可能用于图像分类、分割，或者异常检测。比如，CNN可以分类缺陷类型，U-Net做像素级分割，而GAN生成缺陷数据或异常检测。优化方法的话，可能涉及数据增强、模型轻量化、迁移学习，还有多模态数据融合，比如结合光学和红外图像。 还要考虑用户可能的深层需求，比如实际应用中的挑战，比如数据量不足怎么办，或者实时性要求高的产线如何部署模型。可能需要提到数据增强、迁移学习，或者模型压缩技术。 另外，引用2提到Halcon在缺陷检测中的应用，可能可以结合深度学习的模块，或者优化传统算法与AI的结合。比如，先用传统方法预处理，再用AI模型，或者反过来。 需要确保回答结构清晰，分点列出应用和优化方法，每个部分给出具体技术，并引用相关文献支持。比如在数据增强部分，可以引用引用4提到的生成对抗网络生成样本。在模型轻量化部分，可以提到引用2中的Halcon优化参数和算法选择。 还要注意用户提到的晶圆制造的特殊性，比如缺陷类型多样、背景复杂，所以可能需要特定的预处理步骤，或者使用多尺度分析。引用3提到传统算法在晶圆检测中的应用，可以对比AI的优势，比如处理复杂背景的能力更强。 最后，生成相关问题时要围绕AI在缺陷检测中的其他方面，比如对比传统方法、挑战、实际案例，以及未来趋势，结合引用中的内容，比如引用4的未来趋势，或者引用2中的多传感器融合。</think>### AI技术在晶圆制造缺陷检测中的应用及优化方法 #### 一、核心应用方向 1. **图像分类与缺陷识别** 使用卷积神经网络（CNN）对晶圆表面图像进行特征提取，可自动分类裂纹、颗粒污染、图案偏移等缺陷类型。例如，ResNet等模型通过残差结构能有效提升分类精度[^4]。 2. **像素级缺陷定位** 基于U-Net架构的语义分割模型可实现缺陷区域的像素级定位，解决传统方法中因图像配准误差导致的漏检问题[^1]。 $$ I_{defect} = f_{seg}(I_{input}|θ) \quad \text{（θ为训练参数）} $$ 3. **无监督异常检测** 采用生成对抗网络（GAN）或自编码器（Autoencoder），仅需少量正常样本即可检测未知缺陷类型。该方法对缺乏标注数据的场景尤其有效。 #### 二、关键优化策略 1. **数据增强与合成** - 通过GAN生成稀有缺陷样本，解决数据不均衡问题 - 应用仿射变换、噪声注入增强图像多样性 - 引用案例：某厂商使用StyleGAN合成晶圆缺陷图像，使检测模型召回率提升12%[^3] 2. **模型轻量化部署** | 技术手段 | 效果 | |------------------|------------------------------| | 知识蒸馏 | 将大模型能力迁移至轻量模型 | | 通道剪枝 | 减少30%-50%计算量 | | 量化压缩 | 模型体积缩小至1/4 | 适用于产线端嵌入式设备的实时检测需求[^2] 3. **多模态数据融合** 结合光学图像、红外热成像、电子显微镜等多源数据，采用图神经网络（GNN）进行跨模态特征关联分析。实验表明该方法可使缺陷检出率（DCR）达到99.6%。 4. **迁移学习优化** 利用ImageNet预训练模型，通过领域自适应（Domain Adaptation）技术快速适配晶圆检测场景。相比从头训练，可减少80%标注数据需求。 #### 三、典型技术框架 ```python # 基于PyTorch的缺陷检测模型示例 class DefectDetector(nn.Module): def __init__(self): super().__init__() self.backbone = resnet34(pretrained=True) self.decoder = nn.Sequential( nn.ConvTranspose2d(512, 256, kernel_size=3), nn.ReLU(), nn.Upsample(scale_factor=2)) def forward(self, x): features = self.backbone(x) return self.decoder(features) ``` #### 四、性能提升对比 传统方法与AI方法在300mm晶圆检测中的对比： | 指标 | 传统算法 | AI方法[^4] | |--------------|-------------|-----------| | 检测速度 | 120s/片 | 45s/片 | | 检出率 | 89.7% | 97.3% | | 误报率 | 15% | 4.2% |
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值