工业质检新突破！YOLO-pdd多尺度PCB缺陷检测算法实现99%高精度

原创于 2025-07-29 18:05:02 发布 · 287 阅读

CC 4.0 BY-SA版权

文章标签：

【导读】

如何在保证实时性的同时大幅提升PCB缺陷检测的准确率？来自北京大学的YOLO-pdd框架将YOLOv5与多尺度特征提取模块Res2Net融合，在保留检测速度优势的同时显著增强细粒度识别能力，在PKU-Market-PCB等数据集上实现超99%的精度表现，刷新工业质检智能化水平。

图片1.png

论文标题：

YOLO-pdd: A Novel Multi-scale PCB Defect Detection Method Using Deep Representations with Sequential Images

论文链接：

https://arxiv.org/pdf/2407.15427

尽管自动光学检测（AOI）技术取得进展，且基于深度学习的PCB缺陷检测器已出现，但该领域仍存在若干研究空白与挑战。

本文旨在通过提出基于深度卷积神经网络（CNN）的PCB缺陷检测方法，满足PCB制造行业对高精度、鲁棒性、实时性能和领域适应性的需求。该方法旨在克服现有PCB缺陷检测方法的不足，提升模型的准确性和泛化性能。为解决这一问题，研究团队提出了一种新型方法，利用深度CNN将特征提取、缺陷定位和分类整合到多阶段网络架构中。在大规模PCB数据集上的广泛实验表明，该方法相较于现有方法取得了显著改进。尤其值得注意的是其实现了实时性能，使其适用于广泛的工业应用。此外，研究通过从数据源进行特征对齐来解决PCB缺陷检测中的领域适应性挑战，实验验证证实了该方法在不同制造环境和条件下的鲁棒性和适应性。因此，这项研究代表了PCB缺陷检测领域计算机视觉技术的重大突破，为制造业提供了可靠的缺陷检测解决方案。

本文的贡献具有重要意义，可概括如下：

提出了一种基于深度卷积神经网络（CNN）的多阶段网络框架，将特征提取、缺陷定位和分类整合为统一系统。
开发了一种基于CNN的高性能方法，该方法同时利用全局和局部特征，显著提升了PCB缺陷检测的精度、召回率和F1分数。
提出了一种基于领域适应的时序方法用于PCB缺陷检测，通过集成YOLOv5和Res2Net模块，确保在模糊或遮挡条件下的鲁棒性，显著优于基线方法。

一、相关研究

在现代工业场景中，作为电子设备的核心组件，PCB在确保产品可靠性和稳定性方面发挥着至关重要的作用。然而，在PCB的整个制造和应用过程中，常常会遇到各种缺陷和问题。为了确保PCB的质量，行业内采用了多种方法进行缺陷检测和电气测试。

手动缺陷检测方法

缺陷检测一直是PCB制造领域的重要环节。传统的手动视觉检查是主要采用的方法之一。该方法高度依赖操作人员使用放大镜或校准显微镜等工具检查电路板质量，并根据其技能和经验判断是否需要整改。然而，这种依赖视觉的检测方法存在一定局限性，其中主观估算是最显著的风险。此外，该方法高度依赖操作员的技能和经验，迫使工厂需投入大量资金招聘专业人员。即使是最有经验的专家也可能因主观估算而犯错，导致检测结果不准确。因此，手动视觉检测方法正逐渐不适合实际生产任务。

自动光学检测

基于机器视觉的自动光学检测（AOI）是一种用于检测电子元件表面缺陷和异常的技术。它通过摄像头和图像处理算法扫描并分析印刷电路板（PCB）上的元件及连接点，旨在识别短路、开路、焊接不良、焊接错误等潜在缺陷。此外，该方法还融入了多种创新改进技术，如自动X射线检测（AXI）、二维自动光学检测（2D AOI）和三维自动光学检测（3D AOI），用于PCB缺陷识别。然而，当前的自动光学检测（AOI）技术易受环境光线影响，导致捕获的图像出现显著失真，并在检测过程中增加误判率。为解决这一问题，尽管许多PCB制造商选择人工复核，但这无疑会增加额外的人力成本，导致资源浪费。

基于机器学习的检测器为了克服传统图像处理方法耗时长且依赖大量参考图像的缺点，许多研究人员转向了机器学习算法。目前基于机器学习的PCB图像缺陷检测主要研究方法可分为监督学习（BP神经网络、支持向量机）、无监督学习（主成分分析、聚类方法）和半监督学习。这些算法已成为PCB缺陷检测领域的研究重点，涵盖了众多经典机器学习算法。通过这些方法，焊点和组件的检测可以更快、更准确地完成，为PCB制造过程中的质量控制提供了新的可能性。此外，尽管基于图像减法的检测方法能够实现PCB缺陷的高精度检测，但机器学习算法在提升效率和准确性方面更具优势，使其在某些情况下成为可行选择。采用支持向量机（SVM）结合分层圆形照明技术对PCB焊点进行检测。研究人员构建了包含402个焊点的数据集用于模型训练与测试，分别实现了96.07%和98%的缺陷检测率。值得注意的是，该方法的性能优于其他方法，包括K均值分类器和反向传播（BP）分类器。然而，必须承认该方法面临若干挑战，例如SVM中超参数C和核函数的选择，以及对复杂三色环形照明系统的依赖。

总体而言，基于深度学习的PCB检测方法可分为两类：两阶段和单阶段方法。在检测PCB缺陷时，最常用的方法包括两阶段目标检测算法：基于区域的卷积神经网络（R-CNN），以及单阶段目标检测算法： YOLO系列、单次多框检测器（SSD）。需要特别指出的是，Faster R-CNN是基于R-CNN和Fast R-CNN改进而成的物体检测模型。与两阶段方法相比，YOLO系列虽然相对精度较低，但检测速度更快。此外，由于其端到端架构，YOLO系列相对简单易于实现，因此在工业领域广受欢迎。基于Faster R-CNN的微缺陷检测网络TDD-net。受YOLOv2启发，该方法可自主确定适用于PCB图像的锚点尺度。通过采用多种数据增强技术和特征金字塔网络（FPN），实现了高检测精度（98.9% mAP）。然而，TDD-net作为两阶段框架运行，导致参数数量庞大且检测速度较慢。全连接层的引入增加了模型复杂性，而RoI池化可能影响特征的平移不变性。尽管在缺陷检测中表现强劲，但其实时适用性和对参数的敏感性仍需进一步评估。CFIL提出频率域特征提取模块及频率域特征交互机制以增强显著特征。MFC 提出频率域滤波模块以实现密集目标特征增强。

二、研究方法

本研究的主要目标是利用深度卷积神经网络（CNN）开发一种先进的PCB缺陷检测方法，以克服传统检测技术存在的局限性。具体而言，本研究旨在实现以下目标：

(1) 高精度与鲁棒性：开发一种能够实现高精度和鲁棒性的缺陷检测系统，确保在PCB制造过程中能够可靠地识别各种类型的缺陷，同时将误报率降至最低。

(2) 实时性能：设计系统以实现实时运行，可在PCB制造过程中快速完成检测与缺陷识别。

(3) 领域泛化与效率：研究并改进PCB缺陷检测的领域适应技术，以提升模型在不同制造环境和条件下的效率与泛化能力。本综合方法旨在利用最先进的深度学习技术，开发一个有效且高效的PCB缺陷检测系统，并针对实际制造环境进行定制化部署。

提出的PCB缺陷检测框架

提出的PCB缺陷检测框架利用深度卷积神经网络（CNN）实现高精度、鲁棒性、实时性能、领域适应、泛化能力和效率。该框架包含以下关键组件：输入数据处理，包括对PCB图像进行预处理以提升质量、处理噪声并标准化输入维度； CNN架构设计，包括开发专用于PCB缺陷检测的自定义CNN架构，涵盖特征提取、缺陷定位和分类层；集成领域适应性技术，使模型能够在不同制造环境和条件下进行泛化；以及优化实时处理，确保在PCB检测过程中实现实时性能。PCB图像的数据采集与预处理技术涉及获取包含各种缺陷类型和制造条件的多样化PCB图像数据集。由于大多数PCB缺陷视觉检测系统（尤其是基于机器学习和深度学习技术）本质上是数据驱动的，因此处理PCB缺陷数据的预处理是整个流程中的关键步骤。具体而言，预处理技术包括图像增强（生成合成数据以增加数据集多样性和鲁棒性）、归一化和标准化（重新缩放和归一化像素值以促进模型训练），以及降噪（应用滤波和去噪技术以提升图像清晰度）。

PCB缺陷检测的深度表示方法

研究重点是利用先进的特征提取方法从PCB图像中捕获区分性信息。利用预训练的卷积神经网络（如ResNet和VGG）从PCB图像中自动提取特征。我们采用定位技术，使用基于区域或滑动窗口的方法，以精确定位PCB图像中的缺陷。

训练策略强调优化模型性能和泛化能力。我们适当的损失函数（如分类交叉熵）来训练CNN模型处理不平衡缺陷数据集。为避免过拟合，我们应用正则化技术（如dropout、批量归一化和权重正则化）。此外，通过迭代调整模型超参数（如学习率和批量大小）来优化性能指标。

理解损失函数在机器学习和统计建模中的重要性，将其视为一个数学函数，将模型预测输出与真实标签之间的差异映射为一个非负实数，代表模型的预测误差或风险水平。目标是通过最小化该损失函数来优化模型，使其能够对未见数据做出更准确的预测。

YOLOv5 与 Res2Net 模块的结合

Res2Net架构通过引入多尺度特征提取机制，推动了卷积神经网络（CNN）的发展。将 Res2Net 与 YOLOv5 结合，通过利用多尺度特征提取机制，提升了物体检测性能，改善了不同尺度和分辨率下物体的检测效果。图 1 展示了 Res2Net 模块的架构与工作流程。

1. 输入特征分割：输入特征图被划分为多个较小的子区域。

2. 层次变换：子区域按复杂度递增进行分层变换。

3. 特征聚合：变换后的子区域被拼接，整合多尺度特征。

4. 残差连接：添加残差连接以稳定训练过程并缓解梯度消失问题。

图片2.png

如图2所示，提供了一种高效的Res2Net分层方法，多尺度变换增强了卷积神经网络（CNN）的能力，使其成为复杂PCB缺陷检测任务的 robust 解决方案。以下是将YOLOv5与Res2Net结合用于PCB缺陷检测的一些优势：

1. 增强的多尺度特征提取：Res2Net在单个块内捕获广泛特征的能力，提升了YOLOv5的特征提取能力。这对于检测PCB中各种尺寸的缺陷特别有用。

2. 检测准确性提升：该组合显著提升缺陷检测准确性，尤其对小型复杂缺陷效果显著。Res2Net的多尺度处理与YOLOv5的稳健检测框架相辅相成。

3. 实时处理：YOLOv5 以其实时物体检测能力著称。与 Res2Net 结合后，增强的特征提取并未显著影响处理速度，使系统适用于工业环境中的实时应用。

4. 更好的泛化能力：集成 Res2Net 等先进残差网络有助于在不同类型 PCB 和缺陷间实现更好的泛化，提升模型在各种检测场景中的鲁棒性和适应性。

5. 可扩展性：该联合框架可轻松适应特定任务和计算限制，支持根据不同工业应用需求进行精细调优的可扩展解决方案。

6. 高效训练：结合 YOLOv5 和 Res2Net 的优势可实现更高效的训练流程。Res2Net 的分层残差连接可促进更好的梯度流， potentially 加速训练过程中的收敛速度。

7. 对变异性的鲁棒性：该组合方法对PCB制造过程中的变异性具有更强的鲁棒性。它能够处理多种缺陷类型和环境条件，确保在多样化运营环境中实现可靠性能。

8. 全面检测能力：YOLOv5的物体检测能力与Res2Net的特征提取能力的协同作用，确保了全面的缺陷检测，涵盖其他方法可能忽略的显著和细微缺陷。

图片3.png

方法讨论

所提方法将YOLO系列与传统PCB检测技术相结合，融合了两者的优势。YOLO-pdd框架利用YOLO的实时处理能力和端到端架构，实现快速缺陷检测且不牺牲准确性。通过引入Res2Net架构，本方法显著提升了多尺度特征提取能力，使模型能更有效地检测不同尺寸和复杂度的缺陷。

通过在残差模块中实现特征金字塔网络（FPN），进一步提升了模型在真实工业应用中对序列图像中PCB缺陷的识别能力。FPN使模型能够利用不同尺度的特征，确保即使是微小且不易察觉的缺陷也能被检测到。这种多尺度方法在PCB缺陷检测中尤为有益，因为缺陷可能从微小的裂纹到更大的结构问题。

采用先进的数据增强技术以提升训练数据集的多样性和鲁棒性。这些技术包括生成合成数据、缩放、归一化和降噪，所有这些都为构建更通用和适应性强的模型做出了贡献。通过使用最优运输进行领域泛化，确保模型在不同制造环境中表现一致，解决实际场景中常见的照明、噪声和缺陷模式差异问题。

实时处理优化是本方法的另一关键环节。通过简化模型架构和推理管道，我们确保YOLO-pdd框架可在高速生产线中部署而不会造成延迟。模型实现的高帧率（fps）进一步证明其适用于实时应用。

三、实验结果

数据集

PCB缺陷检测系统的评估基于一个综合性数据集，该数据集包含从实际制造过程中获取的各种PCB图像。该数据集涵盖了PCB中常见的各种缺陷类型，包括短路、开路、焊接不良和元件错位。该数据集经过精心标注，附有真实标签，以确保模型训练和评估的准确性。本研究使用了北京大学人机交互开放实验室发布的公开可用PCB缺陷数据集（PKU-Market-PCB）。通过应用图像增强技术，原始的1,386张图像被扩展至10,886张。为了全面评估领域适应性、泛化能力和鲁棒性，根据数据集中存在的六种缺陷类型（缺孔、鼠咬痕、开路、短路、突起和异常铜箔），随机抽取了6,000张图像。

评估标准

为验证所提方法的有效性，我们将其性能与PCB缺陷检测中常用的几种基线方法进行比较。这些方法包括传统机器学习技术、基于规则的系统及现有深度学习架构。基线方法为评估所提系统的有效性和效率提供了基准。

实验评估

将实验结果与已有的方法进行了比较。本节通过分析精度曲线、召回率曲线、精度-召回率曲线和F1分数曲线等多种性能指标，对模型的有效性进行了全面评估。如图3所示，六类PCB缺陷检测的预定义准确率呈现出理想趋势。图3展示了精确率曲线，该曲线反映了模型所有正向预测中真实正向预测的比例。高精确率值表明模型犯假阳性错误较少。曲线显示模型在不同缺陷类别中均保持较高精确率，表明其能够准确识别实际缺陷而不产生过多误报。图4展示了召回率曲线，该曲线衡量所有实际正向实例中真实正向预测的比例。高召回率表明模型成功检测到大量实际缺陷。召回曲线呈现出有利趋势，模型在各类缺陷中均实现高召回率。这表明模型能够检测到PCB图像中大部分缺陷，确保全面的缺陷覆盖。图5展示了精度-召回曲线，将精度和召回率结合到一个图中。该曲线提供了不同决策阈值下精度与召回率之间权衡关系的更详细理解。精度-召回曲线下的面积（AUC-PR）是评估模型整体性能的有用指标。曲线显示模型在精度与召回率之间保持良好平衡，实现高AUC-PR值，表明在识别缺陷时具有较少假阳性与假阴性的稳健性能。图6展示了F1分数曲线，它是精度和召回率的调和平均值。F1分数提供了一个平衡精度和召回率权衡的单一指标，为模型准确性提供了全面衡量。F1分数曲线表明，模型在不同缺陷类别中始终保持高F1分数，反映了其以高精度和高召回率准确检测和分类PCB缺陷的能力。

图片4.png

图7中的指标展示了YOLO-pdd框架在识别准确率和处理速度方面的卓越表现。如图7所示，由于Res2Net架构在多尺度特征提取方面的优越性，YOLO-pdd显著超越了原始的YOLO框架。图7的比较分析表明，YOLO-pdd相较于其他模型实现了更高的平均精度（mAP）和更高的每秒帧数（fps）率，使其特别适合实时应用。

图片5.png

这一显著改进归功于Res2Net的集成，它促进了更详细和稳健的特征表示，从而提升了缺陷检测性能。Res2Net架构的创新应用，结合有效的数据增强和领域适应策略，确保YOLO-pdd能够在实时场景中处理各种缺陷。重要的是，在所有帧率大于30的模型中，YOLO-pdd展现出最佳的实时处理性能。这确保了模型不仅能以高精度检测缺陷，还能跟上生产线快速节奏，提供对质量控制至关重要的即时反馈并减少浪费。

如表1所示，YOLO-pdd模型在所有指标上均优于其他方法，尤其在召回率和F1分数方面表现突出。该表对不同方法在PKU-Market-PCB数据集上的性能进行了比较分析，突显了YOLO-pdd模型的优越性。采用所提方法获得的实验结果表明，模型在缺陷检测准确率、精确度、召回率及每秒帧数（fps）方面均实现了显著提升。具体而言，YOLO-pdd模型实现了更高的准确率，表明其能够正确识别缺陷，且具有更高的精确度，反映出较少的误报检测。较高的召回率表明模型能够有效检测到大量实际缺陷，而较高的F1分数则表明模型在精确度和召回率之间实现了平衡。此外，模型的高帧率表明其在实时PCB缺陷检测应用中具有高效性和适用性。这些改进凸显了YOLO-pdd模型在实际工业场景中的鲁棒性和有效性。

图片6.png

YOLO-pdd模型性能指标的显著提升，归功于其创新地将YOLO架构与Res2Net相结合。这种组合利用了YOLO的速度和端到端能力，以及Res2Net的先进特征提取能力，使模型能够以高精度和准确性处理各种PCB缺陷。Res2Net的引入实现了多尺度特征提取，这对于识别PCB检测中常见的各种大小和形状的缺陷尤为有益。这种多尺度方法确保模型在不同缺陷类型下均能保持高检测性能，从而提升其在实际场景中的鲁棒性和适应性。

此外，YOLO-pdd模型能够处理多种缺陷类型，使其成为PCB检测的通用工具。传统方法往往难以应对特定类型的缺陷，或需要多个模型才能实现全面覆盖。相比之下，YOLO-pdd模型的统一方法简化了检测流程，为各种缺陷检测需求提供了一个高效的解决方案。这种通用性简化了检测工作流程，并减少了维护多个检测系统带来的复杂性和成本。

YOLO-pdd模型的另一个关键优势在于其可与现有工业系统无缝集成，且只需少量修改。该模型的高帧率确保其能跟上生产线快速节奏，从而不会成为制造过程中的瓶颈。这种实时检测能力对于维持高生产效率、确保缺陷检测后立即反馈至关重要，这对质量控制和减少浪费至关重要。此外，YOLO-pdd模型的鲁棒性和适应性使其适用于各种PCB设计和制造环境，展现了其在实际应用中的实用性和有效性。

YOLO-pdd模型还受益于其能够在大型数据集上进行训练，捕捉到多种缺陷类型和场景。这种广泛的训练使模型能够学习复杂的模式和不同类型缺陷之间的细微差异，从而提升其检测能力。YOLO 的实时处理、Res2Net 的多尺度特征提取以及先进的数据增强技术相结合，使 YOLO-pdd 模型成为 PCB 缺陷检测领域的尖端解决方案，提供无与伦比的准确性。

图片7.png

结论

在本研究中，我们提出了一种将YOLOv5与Res2Net相结合的创新框架，用于在实际工业场景中实现精准的PCB缺陷检测。通过克服传统方法的局限性并提供高性能、可适应的解决方案，YOLO-pdd模型为PCB缺陷检测树立了新标准，有望提升制造业的质量控制与效率。我们的方法不仅实现了高精度和高效率，还展现出鲁棒性和适应性，使其非常适合实际工业场景。利用YOLO的实时处理和端到端架构，确保了快速缺陷检测而不牺牲精度。我们的方法不仅实现了高精度和高效率，还展示了鲁棒性和适应性，为各种工业环境中可靠的PCB检测系统提供了潜在解决方案。