使用图像分割来做缺陷检测的一个例子

opencv缺陷检测 因此,我们可以使用颜色进行缺陷检测。在机器视觉系统中,缺陷检测是指在图像采集过程中,自动地将采集到的图像通过一定算法处理后,自动地对目标物体进行提取、分割、识别和跟踪。目前,国内外对基于区域生长算法的应用研究比较多,如:张军红等人将数学形态学与区域生长相结合,利用形态学腐蚀运算对目标进行增强处理,然后对增强后的图像进行区域生长,最后得到分割结果。缺陷识别是一种自动识别缺陷的方法,其基本思想是,当目标物体存在缺陷时,它会发出一定的信号,当这种信号与其周围的背景信号达到一定比例时,就会发现目标物体存在缺陷。 阅读详情

作者:Vinithavn

编译:ronghuaiyang

导读

一个简单的例子,详细的过程和代码说明。

1. 介绍

什么是物体检测?

给定一张图像,我们人类可以识别图像中的物体。例如,我们可以检测图像中是否有汽车,树木,人等。如果我们可以分析图像并检测物体,我们可以教机器做同样的事情吗?

答案是肯定的。随着深度学习和计算机视觉的兴起,我们可以实现目标检测的自动化。我们可以建立深度学习和计算机视觉模型,可以检测和定位目标,计算它们之间的距离,预测它们的未来的位置等。目标检测在计算机视觉和机器学习中有着广泛的应用。目标跟踪、闭路电视监控、人类活动识别,甚至自动驾驶汽车都利用了这项技术。为了更好地理解它,考虑下面的图片。

图1,路面交通的物体检测

图中为一幅道路交通图像从车辆上看的目标检测。这里我们可以看到它正在检测其他车辆,交通信号等。如果车辆是自动驾驶汽车,应该能够检测到行驶路径、其他车辆、行人、交通信号等,以便平稳、安全驾驶。

现在我们已经了解了目标检测,让我们转移到一个稍微高级的技术,称为图像分割。通过分析下图,我们可以很容易地理解目标检测和图像分割之间的区别。

图2,目标检测和图像分割

这两种方法都试图识别和定位图像中的物体。在目标检测中,这是通过边界框实现的。该算法或模型将通过在目标周围绘制一个矩形边界框来定位目标。在图像分割中,对图像中的每个像素进行标注。这意味着,给定一幅图像,分割模型试图通过将图像的所有像素分类成有意义的对象类别来进行像素级分类。这也被称为密集预测,因为它通过识别和理解每个像素属于什么对象来预测每个像素的含义。

“图像分割的返回格式称为掩码:一个与原始图像大小相同的图像,但对于每个像素,它只有一个布尔值指示目标是否存在。“

我们将在本案例研究中使用这种技术。现在我们有了目标检测和图像分割的概念。让我们进一步理解问题陈述。

2. 问题陈述

我们得到了一些产品的图像。有些产品有缺陷,有些没有。考虑到产品的图像,我们需要检测它是否有缺陷。我们还需要定位这个缺陷。

3. 机器学习的形式

这个问题可以表述为图像分割任务。给定一个产品的图像,我们需要为其绘制分割掩模。如果产品有缺陷,分割图应该能够定位该缺陷。

4. 性能度量

在分割问题中最常用的指标之一是(IoU分数。参考下面的图像,这清楚地显示了如何IoU分数是计算的。

IoU是预测分割与真实分割的重叠面积除以预测分割与原始分割的并集面积

我们也可以把IoU分数写成TP/TP+FN+FP。

这个度量值的范围是0到1。Iou得分为1表示完全重叠,Iou得分为0表示完全不重叠。

本案例研究中使用的损失函数是Dice损失。Dice 损失可以被认为是1-Dice 系数,其中Dice 系数定义为,

Dice系数 = 2 * 相交的重叠面积

5. 理解数据

该数据集包含两个文件夹 —— train和test。训练集由六类图像组成。每一类图像被分成两个文件夹,其中一个文件夹包含1000张无缺陷图像,另一个文件夹包含130张有缺陷图像。下图显示了train文件夹中的文件夹。

图3,训练数据集

以 “def”结尾的文件夹名称包含相应类的有缺陷的图像,没有“def”的则表示无缺陷的图像。测试文件夹包含一组120个有缺陷的图像,这些图像的分割图将被预测。

6. 数据预处理

6.1 准备图像数据和分割蒙版

现在我们需要为每个图像准备图像数据和相应的分割掩模。我们把图片分成十二个文件夹。让我们来看一些图片。

图4,产品的图像

第一幅图像表示有缺陷的产品,第二幅图像表示无缺陷的图像。现在我们需要为这些图像准备分割图。分割图可以检测出图像中有缺陷的部分。对于上面的图像,预期的分割图是这样的。

图5,图4上的分割蒙版

我们可以看到,在第一幅图像中,椭圆区域代表检测部分。第二幅图像是空白的,因为它没有缺陷。

让我们再分析一些有缺陷的图像。

图6,一些缺陷图像的例子

我们可以看到缺陷在图像中以曲线或直线的形式出现。因此,我们可以利用椭圆来将这些区域标记为缺陷。

但我们如何准备分割掩码?是否需要手工标注?

我们有另一个包含关于分割掩码信息的文件。

每一行包含关于图像的mask区域的信息。每一列表示图像的文件名、椭圆的半长轴、椭圆的半短轴、椭圆的旋转角度、椭球中心的x位置、椭球中心的y位置。

绘制椭圆所需的数据是使用get_data函数获得的,如下所示:

我们可以使用这些信息,并使用skimage函数绘制一个椭圆分割蒙版。

值得注意的是,这只适用于有缺陷的图像。对于无缺陷的图像,我们需要创建空白图像作为分割掩模。

6.2 加载图像

结构化数据以如下所示的形式获得。

“images”列包含每个图像的完整文件路径,“mask”列包含相应的掩码图像。

下一步是加载数据。

7. 模型

现在我们得到了所有的数据,下一步是找到一个模型,可以生成图像的分割mask。让我来介绍一下UNet模型,它在图像分割任务中非常流行。

UNet架构包含两种路径:收缩路径和扩展路径。下图可以更好地理解Unet架构。

图7,Unet结构

模型结构类似于英文字母“U”,因此得名Unet。模型的左侧包含收缩路径(也称为编码器),它有助于捕获图像中的上下文。该编码器只是一个传统的卷积和最大池层堆栈。在这里我们可以看到,池化层降低了图像的高度和宽度,增加了通道的深度和数量。在收缩路径的末端,模型将理解图像中出现的形状、模式、边缘等,但它丢失了“在哪里”出现的信息。

由于我们的问题是获取图像的分割映射,我们从压缩路径中获得的信息是不够的。我们需要一个高分辨率的图像作为输出,其中所有像素都是分类的。

”如果我们使用一个规则的卷积网络,pooling层和dense层,我们会丢失WHERE信息,只保留不是我们想要的“WHAT”信息。在分割的情况下,我们既需要“WHAT”信息,也需要“WHERE”信息

所以我们需要对图像进行上采样,以保留“where”信息。这是在右边的扩张路径中完成的。扩展路径(也称为解码器)用于使用上采样技术定位捕获的上下文。上采样技术有双线性插值法、最近邻法、转置卷积法等。、

8. 训练

现在我们已经准备好了所有的训练数据,也确定了模型。现在让我们训练模型。

由于无缺陷图像的数量远远高于有缺陷图像的数量,所以我们只从无缺陷图像中提取一个样本,以获得更好的结果。采用adam优化器训练模型,并以dice 损失为损失函数。

使用的性能指标是iou分数。

经过10个epoch,我们能够获得0.98的iou分数和0.007的骰子损失,这是相当不错的。让我们看一些图像的分割图。

我们可以看到,该模型能够预测类似于原始分割图的分割图。

9. 测试数据分割图的预测

现在让我们尝试解决手边的问题,即预测和绘制测试图像的分割蒙版。下图显示了一些测试图像的预测分割图。

可以看出,该模型具有良好的测试性能,能够检测出测试图像中的缺陷。

10. 未来的工作

如上所述,与无缺陷图像相比,有缺陷图像的数量非常少。因此,对缺陷图像采用上采样和增强技术可以改善训练效果。

—END—

英文原文:https://medium.com/analytics-vidhya/defect-detection-in-products-using-image-segmentation-a87a8863a9e5

HSG金属表面缺陷检测 HSG金属表面缺陷检测。 阅读详情

相关推荐

2D图像处理:缺陷检测--实现Halcon的Variation Model

通过C++ & Opencv实现Halcon的Variation Model。

lddx_123456的博客 1800

OpenCV C++案例实战三十三《缺陷检测》

本案例将使用OpenCV C++ 进行PCB印刷缺陷检测。目前缺陷检测算法可分为两大类:一:基于模板匹配的缺陷检测二:基于深度学习的缺陷检测,主要利用目标检测去识别缺陷部分。本文算法主要是基于模板匹配算法进行缺陷检测,参考《基于差异模型的印刷标签缺陷检测算法》一文,进行算法复现,感兴趣的朋友可以去阅读一下原文。本文使用OpenCV C++ 进行PCB印刷缺陷检测,主要操作有以下几点。1、将图像进行仿射变换,与模板图像进行配准2、计算差异图像,得到基于模板的亮、暗阈值图像。

Zero___Chen的博客 9133

基于Opencv的缺陷检测任务

任务需求:使用opencv检测出手套上的缺陷并且进行计数环境配置:pip install opencv-python。

qq_52053775的博客 2835

实操教程|使用图像分割来做缺陷检测的一个例子

点击上方“视学算法”,选择加"星标"或“置顶”重磅干货,第一时间送达作者丨Vinithavn来源丨OpenCV学堂编辑丨极市平台导读一个简单的缺陷检测例子,附有详细的过程...

zandaoguang的博客 686

【表面缺陷检测】表面缺陷检测数据集汇总

本文收集整理了16个表面缺陷检测相关的数据集,并对每个数据集的特点进行了简单的介绍。(文末附数据集)

学无止境、积少成多、厚积薄发 2万+

基于神经网络的小芯片缺陷检测:图像分割与灰度分析

在芯片制造过程中,表面缺陷是影响产品质量的重要因素。缺陷可能包括划痕、斑点、凹陷等,这些缺陷在生产早期被检测出来可以显著提高良品率。通过利用图像处理技术和神经网络,可以实现自动化、高精度的缺陷检测。本文详细介绍了基于神经网络的小芯片缺陷检测系统的设计与实现。从图像读取、分割、灰度分析,到训练数据集生成、神经网络训练和缺陷检测,提供了完整的解决方案。通过仿真测试和数据分析,验证了神经网络在小芯片缺陷检测中的有效性。未来,可以进一步优化神经网络结构,提升模型的检测能力。

m0_57781768的博客 1256

基于OpenCV的焊件缺陷检测

点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达01.简介焊接缺陷是指焊接零件表面出现不规则、不连续的现象。焊接接头的缺陷可能会导致组件报废、维修...

小白学视觉 7275

扣子(coze)实战|手把手教你搭建AI换装自动化工作流

摘要:本文介绍了使用Coze平台搭建AI换装工作流的详细教程。工作流包含模特图片上传、服装替换、任务提交和智能轮询等模块,通过change_model插件实现异步换装处理,并内置30秒循环查询机制。该工具支持自定义API密钥对接不同AI服务商,目前已上线共享空间并提供会员服务(59.8元/年)和VIP课程(499元/年),包含100+智能体和实战案例资源。完整体验地址见文中链接。

yueyehuguang的博客 1846

创新探讨教学:轮胎表面缺陷检测图像分割

本项目数据集信息介绍本项目旨在改进YOLOv11的轮胎表面缺陷检测图像分割系统,因此我们构建了一个专门针对轮胎缺陷的图像数据集。该数据集的主题围绕“缺陷”(defect),涵盖了轮胎表面可能出现的多种问题,以提高模型在实际应用中的准确性和鲁棒性。数据集中包含四个主要类别,分别为“CBU”(侧壁裂纹)、“bead_damage”(胎圈损伤)、“cut”(切割缺陷)和“tr”(胎面磨损)。这些类别的选择基于轮胎在使用过程中常见的缺陷类型,旨在帮助模型更好地识别和分割不同的缺陷区域。

2301_79456566的博客 1198

FreeSWITCH视频通话实战:关键配置文件解析与编解码优化

本文详细解析了FreeSWITCH视频通话实战中的关键配置,重点介绍了如何通过修改`conf/vars.xml`和`sip_profiles/internal.xml`文件来启用媒体代理、优化编解码器设置(如H.264和VP8),并解决常见的视频流协商与网络穿透问题,帮助用户快速实现稳定、高质量的视频通话功能。

js777的博客 257

51单片机———UART串口通信

传统理解就是信息的传输与交换。单片机与单片机之间,单片机与电脑之间,以及单片机与各式各样的模块之间都可以进行通信。如果没有通信,那么单片机的功能仅仅局限于它本身,它没办法从其他设备获取有用信息,也无法将自己产生的信息告诉其他设备,这样子单片机与外围器件的合作就会收到限制,没办法完成更多的功能,就像一个没办法拓展业务的公司。:实现我们程序当中写的P0=0xFC,就是一次同时对8位进行信号的输出;习惯上,我们还称P0、P1、P2、P3为单片机的4组并行总线:实现低位先发 高位在后。

m0_74225397的博客 3298

如何使用深度学习进行缺陷检测

点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达机器学习自动检测异常已成为一个有着高度直接影响的有趣且具有潜力的研究领域,特别是在视觉检测领域。深度学习技术已成为此任务的最佳方法。深度学习技术可以通过训练图像数据集来提供一个可以检测表面异常的模型。DAGM数据集中不同背景纹理上的表面缺陷介绍在一些工业中,通过SEM/EDX检查表面或检查材料中的杂质是质量控制的一步。通常,这个...

小白学视觉 2674

基于Canfestival的对象字典工具objdictedit.py的运行环境配置

本文以菜狗的视角,一步一步地对对象字典的环境进行配置,旨在能给读者一个比较详细的参考,不恰之处,还请指正。

在线求职中... 3714

使用halcon深度学习实现缺陷检测

使用halcon深度学习实现缺陷检测

Quintin 3864

从mseed到SAC格式转换全攻略:mseed2sac工具安装与批量处理技巧

本文详细介绍了如何将mseed格式的地震数据高效转换为SAC格式,涵盖mseed2sac工具的安装、单文件转换技巧、批量处理自动化实现以及元数据高级处理策略。通过具体命令和脚本示例,帮助地震学研究者快速掌握数据预处理的关键技术,提升波形数据分析效率。

ruby5的博客 929

数据分析(二):学生成绩预测分析报告

表1 特征变量描述变量描述school学生的学校sex学生的性别age学生的年龄address学生的家庭住址类型famsize家庭规模Pstatus父母同居状况Medu母亲的教育Fedu父亲的教育Mjob母亲的工作Fjob父亲的工作reason选择学校的理由guardian学生监护人traveltime从家到学校的时间studytime每周学习时间failures过去的类失败次数schoolsup额外的教育支持famsup家庭教育支持。

m0_73963149的博客 4418

缺陷检测(图像处理部分)

零件缺陷检测相关论文

qq_60609496的博客 1万+

Spring AI Alibaba实战训练营-13语音生成应用开发指南

本文介绍了如何基于Spring AI Alibaba创建DashScope语音应用,支持文本转语音(TTS)和语音转文本(STT)功能。主要内容包括:1)环境准备要求Java 17+、Maven 3.6+及阿里云DashScope API Key;2)通过Spring Initializr创建项目并配置相关依赖;3)设置API密钥的安全配置方法;4)实现语音合成的同步和流式功能,包括创建控制器类、调用API接口及保存语音文件。文章提供了详细的代码示例和配置说明,帮助开发者快速搭建语音处理应用。

program哲学 405

缺陷检测2

这里是使用图像分割来做缺陷检测的什么是物体检测? 给定一张图像,我们人类可以识别图像中的物体。例如,我们可以检测图像中是否有汽车,树木,人等。如果我们可以分析图像并检测物体,我们可以教机器做同样的事情吗?答案是肯定的。随着深度学习和计算机视觉的兴起,我们可以实现目标检测的自动化。我们可以建立深度学习和计算机视觉模型,可以检测和定位目标,计算它们之间的距离,预测它们的未来的位置等。目标检测在计算机视觉和机器学习中有着广泛的应用。目标跟踪、闭路电视监控、人类活动识别,甚至自动驾驶汽车都利用了这项技术。为了更好地

whaosoft143ai的博客 374

Autosar_MCAL_Port

PORT Driver就是对微控制器(MCU)的整个PORT模块进行初始化配置。很多端口和管脚被分配有多种不同的功能,即可以进行引脚功能复用,比如通用I/O、adc、pwm、spi等功能。因此,对PORT必须有一个整体的配置和初始化,对各管脚的具体配置和使用取决于微控制器和ECU的引脚功能分配。PORT初始化数据应当尽可能高效地写到每个端口。DIO驱动中所用到的端口的配置和初始化都是在PORT驱动模块中完成的。因此,在使用DIO功能之前,应先进行PORT的初始化。1、PortContainer说明。

不断debug,优化中…… 240

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

焊缝缺陷检测:YOLO目标检测与图像分割的奇妙融合

焊缝缺陷检测,YOLO检测和分割模型,目标检测和图像分割一起实现。在工业制造领域,焊缝质量直接关系到产品的安全性和可靠性,焊缝缺陷检测至关重要。今天咱就唠唠如何借助YOLO检测和分割模型,把目标检测和图像分割一起实现,助力焊缝缺陷检测。

qq__27699885的博客 452

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

缺陷检测方法总结

只是一个简单的工业缺陷检测通用方法汇总,用于提示作用

xiaochuideai的博客 1197

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

上一篇: 为什么机器学习算法难以优化?一文详解算法优化内部机制
下一篇: 自监督学习:人工智能中的暗物质,来自Facebook AI Yann LeCun
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值