【论文精读】将CLIP与YOLOv8n相结合在光伏缺陷检测中的快速应用

光伏缺陷检测中的快速应用：将CLIP与YOLOv8n相结合以实现高效学习。

论文概述

这篇论文的主题是光伏（PV）缺陷检测，作者提出了一种新的方法，通过将CLIP（Contrastive Language-Image Pre-Training）与YOLOv8n结合，来提高光伏缺陷检测的效率和准确性。论文的主要贡献在于：

1. 提出了一种结合CLIP和YOLOv8n的新方法，用于光伏缺陷检测。
2. 通过CLIP的多模态嵌入，增强了YOLOv8n的上下文理解能力，使其在少量数据的情况下也能表现出色。
3. 实验结果表明，该方法在精度、召回率和平均精度（mAP）等指标上优于现有的方法。

论文结构

论文的结构如下：

1. 引言：介绍了光伏系统的重要性以及缺陷检测的挑战，提出了现有方法的局限性。
2. 方法论：详细描述了如何将CLIP与YOLOv8n结合，包括数据预处理、模型初始化、训练和评估。
3. 实验与结果：展示了实验设置、结果分析，并与现有方法进行了对比。
4. 结论：总结了论文的主要贡献，并提出了未来的研究方向。

关键概念解释

1. 光伏（PV）系统：光伏系统是将太阳能转化为电能的系统，广泛应用于可再生能源领域。光伏系统中的缺陷（如裂缝、黑芯等）会显著影响其效率和寿命。

2. YOLO（You Only Look Once）：YOLO是一种实时目标检测算法，能够在单次前向传播中同时预测多个目标的边界框和类别。YOLOv8是YOLO系列的最新版本，具有更高的速度和准确性。

3. CLIP（Contrastive Language-Image Pre-Training）：CLIP是由OpenAI开发的多模态模型，能够同时处理图像和文本输入，生成联合嵌入。CLIP的零样本学习能力使其能够在没有大量标注数据的情况下进行任务适应。

4. K-medoids聚类：一种聚类算法，用于从数据集中选择最具代表性的样本。在本文中，K-medoids用于从光伏缺陷数据集中选择代表性图像，以减少训练数据量。

方法论

论文的核心方法是将CLIP的嵌入与YOLOv8n结合，具体步骤如下：

1. 数据预处理：使用K-medoids聚类从PVEL-AD数据集中选择代表性图像，确保每个类别的多样性。
2. 模型初始化：使用CLIP提取的图像和文本嵌入来初始化YOLOv8n的初始层，增强模型的上下文理解能力。
3. 训练与微调：在少量数据的情况下，使用选择的代表性图像对YOLOv8n进行微调，评估其在光伏缺陷检测中的性能。

实验与结果

论文的实验部分展示了以下几个关键结果：

1. 数据效率：通过CLIP嵌入，模型在少量数据的情况下也能表现出色，减少了训练数据的需求。
2. 性能提升：结合CLIP的YOLOv8n模型在精度、召回率和mAP等指标上显著优于现有的方法。
3. 鲁棒性：模型在压力测试中表现出更强的鲁棒性，能够更好地适应新任务。

结论

论文的结论部分总结了该方法的主要优势：

1. 数据效率：通过CLIP嵌入，模型能够在少量数据的情况下表现出色。
2. 性能提升：结合CLIP的YOLOv8n模型在光伏缺陷检测中表现出更高的精度和鲁棒性。
3. 实际应用：该方法减少了训练数据的需求，适合在实际光伏系统中进行实时缺陷检测。

未来研究方向

作者提出了几个未来的研究方向，包括：

1. 实时检测：将模型扩展到实时光伏缺陷检测中。
2. 更多缺陷类型：扩展模型的能力，使其能够检测更多类型的光伏缺陷。
3. 其他光伏系统：将该方法应用于其他类型的光伏系统，进一步提升其通用性。

问题与讨论

你可以提出任何关于论文的问题，比如：

• 你对CLIP和YOLOv8n的结合有什么疑问吗？
• 你对K-medoids聚类的应用有什么不理解的地方？
• 你对实验结果中的某些指标（如mAP、精度、召回率）有疑问吗？

摘要

在光伏（PV）系统中检测故障对维持光伏能源系统的有效性和可靠性至关重要。传统的方法训练object identification models，包括YOLO（You Only Look Once），通常需要大量的数据集以实现最佳性能。当可用数据量较少时，这就成为一个重大障碍。为了解决这一问题，通常采用预训练模型，因为它们能够捕捉到稳健且广泛适用的特征，这反过来又增强了微调过程中的学习效果。本研究提出了一种新的PV系统缺陷检测方法。最新版本之一的YOLO，称为YOLOv8n，集成了更深和更复杂的层，从而提高了速度和准确性。该方法将CLIP（对比语言-图像预训练）嵌入与YOLOv8n相结合，以提高缺陷识别的准确性和效率。我们提出的方法利用OpenAI的CLIP，以利用丰富的多模态嵌入，增强对视觉输入的上下文理解。通过用CLIP嵌入初始化YOLOv8的层，我们的方法提高了数据效率、灵活性和鲁棒性。这种灵活的方法使模型即使在训练样本较少的情况下也能取得良好的表现，能够高效地从小数据集中获取区分信息。当YOLOv8n_CLIP模型整合时，与当前方法相比，性能显著增强。所取得的指标如下：精确度为95.74%，召回率为96.51%，平均精确度为98.5%。结果表明，使用当前模型检测PV问题的准确性和可靠性超过了最先进的方法。通过引入CLIP嵌入，该模型即使在训练样本数量有限的情况下也能实现高性能，迅速适应新任务，并表现出改进。

1.介绍

光伏（PV）系统在全球向可再生能源转型的过程中扮演着至关重要的角色，提供了可持续且环保的电力来源（Khan等，2021；Bhuiyan，2022）。然而，这些系统的效率和寿命受到光伏电池中可能出现的各种缺陷的显著影响（Abdullah-Al-Mahbub等，2022；Aghaei等，2022；Fouad等，2017）。光伏系统常见的故障包括T型线性裂纹、星形裂纹、指状中断、黑芯、错位、粗线、划痕、碎片、角落和材料缺陷，如图1所示。这些缺陷的选择基于它们的高发频率以及对光伏组件性能和寿命的重大影响。这些缺陷可能会大大降低光伏组件的能量产出和整体效率（Aghaei等，2022；Goudelis等，2022；Ennemri等，2019）。及时识别和解决这些缺陷对于保持光伏系统的最佳功能和经济效益至关重要。

传统的光伏缺陷检测方法，如人工检查和电致发光成像，通常耗时、费力，并且容易受到人为错误的影响（Yahya等，2022；Xie等，2023）。这些方法需要专门的设备和经过培训的人员，因此在大规模光伏电站中使用时成本高昂且效率低下。因此，自动化、高效且准确的缺陷检测系统的需求日益增长，这些系统能够实时、大规模地运行。光伏电池缺陷的检测以及高效目标检测算法的开发是具有重要实际意义的关键研究领域（Akram等，2019；Mazen等，2023）。在光伏缺陷检测领域，Su等（2022）提出了一个名为PV EL异常检测（PVEL-AD）的数据集，专门针对多晶硅光伏电池。PVEL-AD数据集因其规范化和精心设计的特性而被选中，这些特性专门针对太阳能电池板中常见的主要缺陷类别。这保证了提供高质量、一致的图像，这些图像对于可靠的模型训练和评估至关重要。该数据集包含36,543张近红外图像，涵盖了广泛的内部故障和不同的背景。这使得模型能够从多种缺陷类型中学习，并提高其将所学知识应用于新数据的能力。此外，该数据集还包含37,380个精确标注的边界框，涵盖了八种不同的故障类别，提供了细致的标注，这对于训练模型以高精度和高召回率正确检测和分类缺陷至关重要。PVEL-AD数据集的一致性和相关性使其非常适合创建高效且成功的模型，特别是在研究和微调的初期阶段。标准化最大限度地减少了使用各种不受控图像源时可能出现的变异性，从而在训练过程中产生更一致的结果，并有助于创建在各种场景下都具有鲁棒性和适用性的模型。从PVEL-AD这样精心选择的数据集开始，研究人员可以为模型的构建奠定坚实的基础。这保证了模型在经过优化和验证后，能够适应现实世界中更广泛的光伏图像。这种方法最终促进了向实际应用的过渡，确保了缺陷检测模型在现实环境中的耐用性和适用性。
在目标检测算法中，各种模型在速度和准确性方面进行了比较。例如，YOLO（You Only Look Once）模型（Liu等，2018）以其实时检测能力著称，在速度方面具有显著优势。Faster R-CNN（Ren等，2015）虽然提供了更高的准确性，但这是以牺牲速度为代价的。Single Shot MultiBox Detector (SSD)（Liu等，2016）在速度和准确性之间取得了平衡，使其成为实时目标检测任务的多功能选择。自2015年问世以来，YOLO系列目标检测器取得了巨大的发展，最终在2023年1月发布了YOLO-v8（Park等，2021；Zhao和Zhu，2023；Talaat和ZainEldin，2023；Hussain，2023）。由于其速度和效率，YOLO系列已被广泛应用于需要快速决策的应用中。
Fu和Cheng（2023）将高效长程卷积网络（ELCN）集成到YOLOv7目标检测器中，并应用了两阶段微调方法。在PVEL-AD数据集上，他们验证了所提出的ELCN-YOLOv7方法的有效性。他们实现了91.93%的平均精度（mAP）和94.34 FPS，相比基线YOLOv7模型，mAP提高了3.19个百分点，FPS提高了16.82。同样，Su等（2021）在Faster R-CNN+FPN框架内开发了双向注意力特征金字塔网络（BAFPN），在EL数据集上取得了令人印象深刻的结果，包括3629张图像，其中2129张有缺陷，多尺度缺陷分类和检测的F-measure为98.70%，mAP为88.07%，交并比（IoU）为73.29%。这些研究突出了PVEL-AD数据集在提高光伏电池缺陷检测准确性和效率方面的有效性。Lu等（2023）通过集成数据增强技术和CA注意力机制，提出了YOLOv5模型的改进版本。该增强模型在二分ELPV数据集上实现了96.1%的mAP，在PVEL-AD数据集上实现了87.4%的mAP。这些结果表明，与原始YOLOv5模型相比，性能显著提高了10.38%。Tan等（2024）提出了RAFBSD检测器，该检测器结合了复杂的深度学习方法，能够精确检测光伏电池中的缺陷。这些实验表明，PVEL-AD数据集将光伏电池缺陷检测的mAP50提高到了71.1%。当前深度学习和计算机视觉的进展在自动化光伏（PV）面板缺陷检测方面展示了显著的前景。目标识别算法已被专门用于准确识别和分类光伏电池中的缺陷。然而，当前模型面临多个挑战：它们需要大量标注数据进行训练，通常针对特定任务进行定制，并且在多样化的现实场景中可能无法表现出令人满意的性能。此外，光伏缺陷检测必须有效处理大规模检查，识别各种类型的缺陷，并提供高精度的实时处理。在偏远地区检测环境变化由于环境变化和资源有限而变得更加困难。这需要使用强大且高效的算法。确保高精度对于限制误报和漏报至关重要，从而保证可靠的维护。我们的研究通过设计提高检测速度和精度的技术，优化太阳能电池板的维护，并最大化能量产出，来解决这些困难。

本文通过将CLIP（对比语言-图像预训练，Bianchi等，2021）嵌入到YOLO（You Only Look Once）目标检测模型中，探索了一种解决这些挑战的新方法。该集成旨在利用CLIP的多模态能力，增强模型的上下文理解能力，从而提高缺陷检测的准确性和效率。旨在利用两个模型的优势，以创建一个更强大和适应性更强的缺陷检测系统。YOLOv8n被选中是因为它在光伏（PV）缺陷识别方面具有理想的速度、准确性和模型大小。
通过结合两种模型的优势，本文旨在创建一个更鲁棒且适应性更强的缺陷检测系统。YOLOv8n因其在光伏（PV）缺陷识别中的理想速度、准确性和模型大小而被选中。YOLOv8n的轻量级架构比Faster R-CNN参数更少，同时保持了较高的准确性，使其非常适合资源有限的环境。YOLOv8n升级的特征金字塔网络（FPN）和路径聚合网络（PAN）改善了跨尺度的特征表示，从而提高了光伏图像缺陷检测的准确性。与其他著名的目标检测方法（如Faster R-CNN和SSD）相比，YOLOv8n在光伏缺陷检测中具有多个优势。YOLOv8n以其卓越的速度和效率而闻名，因为它可以在单次迭代中分析图像，非常适合实时应用（Safaldin等，2024）。其轻量级设计使其能够在处理能力有限的设备上运行，这在大规模太阳能电池板的检查中具有显著优势。尽管Faster R-CNN在复杂场景（如重叠物体）中表现出极高的准确性，但它采用了两阶段检测方法，导致推理时间较慢，不适合实时应用（Murthy等，2020）。而SSD在速度和准确性之间取得了平衡，但在处理速度上通常不如YOLO，特别是在高速应用中（Diwan等，2023）。YOLOv8n的选择还得到了Lu等（2023）研究的支持，该研究展示了YOLOv8n在检测准确性和速度方面的卓越性能，使其在检测太阳能电池板缺陷时非常高效。由于其速度、准确性和计算效率的卓越结合，YOLOv8n是我们应用中最合适的选择.
CLIP的能力在于能够学习视觉和文本表示，从而提取出鲁棒的特征，捕捉光伏图像中微妙且复杂的视觉模式。当YOLOv8n模型通过这些嵌入进行初始化和引导时，能够更准确地检测缺陷，特别是在小缺陷或不规则形状缺陷的复杂场景中。**本研究的目标是通过提高数据使用效率、任务适应性和整体鲁棒性，克服传统视觉模型的局限性。**该系统结合了CLIP嵌入和YOLOv8（Ocher和Qiu，2024），利用零样本学习和多模态能力，从而减少对大量标注数据的依赖。

• 研究使用K-medoids聚类来增强从光伏缺陷检测（PVEL-AD）数据集中选择代表性图像的能力，使得模型能够在少量高质量图像的情况下高效适应。

最终目标是构建一个专门用于识别光伏电池缺陷的目标检测模型，并在精度（precision）、**召回率（recall）和平均精度（mAP）**等性能指标上有所提升。本文在光伏缺陷检测领域提出了几项重要贡献：

• 结合CLIP和YOLOv8n模型：提出了一种新方法，通过将CLIP嵌入与YOLOv8n结合，显著提高了模型在光伏系统缺陷检测中的性能，增强了其上下文理解能力。

• 我们的方法优先考虑有限数据的最优利用：通过精心选择能够准确代表目标领域的数据集，然后利用CLIP嵌入，使用少量样本高效训练YOLOv8n。这种方法保证了即使在数据量有限的情况下，模型也能有效地学习到区分性特征。

• 增强的性能和耐久性：通过选择最佳的训练样本和代表性数据，集成的YOLOv8n_CLIP模型在精度、召回率和mAP@0.5方面优于现有方法，展示了更高的鲁棒性和可靠性，适合在光伏故障检测中有效实施。

本文的结构如下：第一部分介绍了论文的背景，并包含了关于当前数据集和检测方法的相关文献综述。第二部分提供了方法论。第三部分展示了为发现异常而进行的全面实验。第四部分是本文的结论部分。

2. 方法论

光伏（PV）故障检测是确保光伏面板有效性和耐久性的关键活动。传统方法通常依赖于人工检查或传统的机器学习技术，这些方法通常耗时且效率较低。近年来，YOLO和其他深度学习模型在实时快速识别目标方面展示了巨大的潜力，包括检测光伏面板中的缺陷。YOLO的快速和精确图像处理能力使其非常适合识别光伏电池中的各种缺陷，如裂缝、划痕和错位等。然而，从头训练YOLO模型或为其特定任务进行调整需要大量的标注数据，这通常是一个限制因素。CLIP是由OpenAI开发的多模态模型，能够整合文本和视觉输入，生成鲁棒的嵌入，可用于零样本学习。

通过利用CLIP的预训练嵌入，我们可以显著改进YOLO的初始化和训练过程，采用两阶段微调方法。通过将CLIP与YOLO结合，我们可以利用CLIP的广泛上下文理解能力，为YOLOv8的层权重提供更丰富的信息。这种策略不仅减少了训练模型所需的数据量，还增强了模型的泛化能力。
此外，通过从数据集中选择少量代表性图像（如图2(a)所示），我们可以在几个简单的阶段中调整YOLO模型，从而构建一个非常高效的光伏系统缺陷检测系统，即使在数据量有限的情况下也能有效工作。

接下来的部分将详细介绍将CLIP嵌入与YOLOv8集成的两阶段方法，包括第一阶段：数据集预处理和模型初始化，以及第二阶段：选择最佳训练样本、微调和评估。这种集成方法的主要目标是提高识别光伏系统缺陷的灵活性和精度，从而确保光伏能源系统的可靠性和有效性。

2.1 数据集预处理与选择代表性光伏图像

选择代表性图像需要使用K-medoids聚类（Park和Jun，2009）来优化每个类别内的多样性，具体应用于光伏缺陷检测（PVEL-AD）数据集，如算法1所示。首先，从每张图像中提取独特的特征，生成每个图像的特征向量。然后，使用适当的距离度量（如欧几里得距离）应用K-medoids聚类将数据集划分为K个簇。每个簇的代表性图像被选为medoid，即与簇内所有其他图像的总距离最小的图像。这种技术确保了所选图像涵盖了每个类别内的广泛变化，从而提高了深度学习模型的泛化能力，使其能够更准确地识别光伏缺陷。

2.2 将CLIP与YOLOv8结合以增强光伏缺陷检测

YOLO以其在目标检测中的卓越速度和效率而闻名。该系统采用了一个由多个卷积层组成的框架，随后是全连接层。模型中的每个网格单元负责检测其指定区域内的目标。最新版本的YOLOv8（Ocher和Qiu，2024）包含了更深层和更复杂的结构，从而提高了检测的准确性和速度。尽管YOLO模型在速度上表现出色，但与两阶段检测器（如Faster R-CNN，Girshick，2015）相比，可能在准确性上有所妥协。YOLO模型的每一代迭代都变得越来越复杂，YOLOv8通过引入先进的技术进一步提升了性能。权重选择是决定YOLO性能的关键因素。通常在大型数据集（如COCO）上预训练的权重为模型提供了坚实的基础。通过针对特定应用优化这些权重，可以显著提高准确性并减少训练时间。OpenAI开发了一个名为CLIP（Bianchi等，2021）的多模态模型，能够有效地结合文本和视觉输入，生成能够执行零样本学习的嵌入。CLIP的架构包括两个主要组件：文本编码器和图像编码器。文本编码器处理文本描述，而图像编码器处理视觉信息。两个编码器在共享的潜在空间中生成嵌入。CLIP能够在这种协作环境中同时分析和理解文本和视觉数据。该模型能够为任何可能的图像-文本对生成嵌入，使其能够在不需要为每个任务单独训练数据的情况下执行各种任务。零样本能力特别适用于缺乏标注数据的应用，为各种AI任务提供了灵活的解决方案。
在算法2和图3中，将CLIP嵌入与YOLOv8集成的方法利用了CLIP的多模态能力来改进YOLO的初始化和训练过程。CLIP为提供的代表性数据集生成的嵌入用于初始化YOLOv8的层，从而使模型从一开始就具备全面的上下文理解能力，如图3阶段1(b)所示。这种策略使得模型能够使用更具信息量的权重，从而提高了训练过程的有效性。通过用CLIP嵌入初始化YOLOv8的初始层，模型能够整合最重要的特征。此外，CLIP嵌入的使用增强了YOLOv8在少样本学习中的效率，使模型能够快速适应新任务，即使在数据量较少的情况下也能有效工作，如图3阶段2所示。这减少了对大量数据集生成的需求。并且减少了训练所需的时间。

算法2. 两阶段YOLOv8n_CLIP目标检测

集成过程包括使用CLIP提取嵌入，用这些嵌入初始化YOLOv8，在光伏缺陷数据集上训练模型，并使用标准目标检测指标（如精度、召回率、mAP和鲁棒性）评估性能。
这种集成技术结合了CLIP的零样本学习能力和YOLO的实时检测效率，提高了光伏缺陷检测的适应性和准确性，即使在数据有限的情况下也能有效工作。
通过遵循算法2的步骤，我们可以将CLIP嵌入与YOLOv8n集成，以增强模型在光伏缺陷检测中的性能，确保在数据量最小的情况下实现鲁棒且准确的缺陷识别。

3. 结果与讨论

本节展示了将CLIP嵌入与YOLOv8n结合的结果，预计会带来许多显著的改进。首先，由于CLIP嵌入提供了丰富的上下文信息，模型在数据效率上有所提高，即使在训练样本较少的情况下也能有效运行。此外，YOLOv8n展示了更强的适应性，通过利用CLIP的多模态理解能力，能够高效应对新的挑战。研究结果还表明，集成模型在压力测试中表现出更高的鲁棒性，能够更有效地检测光伏问题。总之，结果表明，将CLIP嵌入与YOLOv8n结合，大大提高了模型在实际应用中识别光伏系统缺陷的可靠性和有效性。

3.1 实验设置

实验使用了PVEL-AD数据集（Su等，2022），该数据集包含光伏缺陷的图像。PVEL-AD数据集经过预处理，以选择最具代表性的图像用于YOLOv8n模型训练，如算法1所示。从数据集中随机选择K个点作为初始medoid。每个数据点根据与最近medoid的距离进行聚类。通过迭代更新medoid，最小化簇内距离，直到收敛或达到预设的最大迭代次数。我们使用旋转、缩放和平移等技术，确保每个类别至少有30个样本，特别是对于样本少于30个的类别，如图2所示。数据集被划分为三个子集：80%用于训练，10%用于验证，10%用于测试。这种任务划分确保了模型性能的严格评估。为了评估各种训练方法的有效性，我们进行了两个实验：从头训练YOLOv8n和使用一组精心选择的代表性图像微调YOLOv8n。研究结果显示，从头开始训练时，性能存在显著差异。为了优化模型性能，我们将CLIP嵌入与YOLOv8n结合，从而显著提升了模型的表现。此外，我们通过评估几种少样本学习场景，研究了优化集成YOLOv8n_CLIP模型的最佳样本量。具体来说，我们使用选定的数据集中每个类别的5、10和30张图像对模型进行训练。这项研究有助于确定在太阳能系统缺陷识别中实现最佳模型准确性和鲁棒性的最合适样本量。然而，从头训练YOLOv8n模型或为其特定任务进行定制需要大量标注数据，这可能是限制因素。因此，我们首先使用通过K-medoids聚类选择的代表性图像对YOLOv8n模型进行微调。微调过程包括两种主要场景：

• 从头训练：使用代表性图像从头训练YOLOv8n模型。
• 预训练YOLOv8：使用预训练权重作为起点，对YOLOv8n模型进行微调。

图4所示的混淆矩阵展示了利用预训练的YOLOv8n模型的好处，而不是从头开始训练过程。预训练模型在大多数类别中表现出更高的准确性，特别是在识别微小缺陷（如黑芯和水平错位）方面。在减少误分类方面，预训练模型表现出显著的改进，特别是在准确区分缺陷和背景方面。预训练模型从预训练权重中获益，这些权重可能捕捉到更具鲁棒性和普遍适用性的特征。这反过来又促进了微调过程中的改进学习。总之，研究结果清楚地表明，预训练大大提高了YOLOv8n在识别光伏故障方面的有效性，从而增加了其在实际应用中的可靠性和效率。

• YOLOv8n使用所有代表性数据集的混淆矩阵
  (a) 从头训练的模型

• (b) 使用预训练模型进行微调的模型

从头训练需要一种自适应策略，以从图像中学习区分性信息，特别是在数据量少于预训练模型的情况下。CLIP嵌入与YOLOv8n的结合带来了显著的改进。首先，CLIP嵌入的丰富上下文信息应该有助于模型在较少训练样本的情况下表现良好。通过利用CLIP的多模态理解能力，YOLOv8n将更适应新任务。为了确定微调集成YOLOv8n_CLIP模型的最佳样本量，我们在不同的少样本学习场景下对其进行了评估。具体来说，我们使用代表性数据集中每个类别的5、10和30张图像对模型进行训练，并比较了性能。

• 5-shot：模型仅使用每个类别的5张图像进行训练。
• 10-shot：模型使用每个类别的10张图像进行训练。
• 30-shot：模型使用每个类别的30张图像进行训练。

图5展示了在不同少样本学习场景下，将CLIP嵌入与YOLOv8n结合的结果，显示出显著的改进。在5-shot场景中，虽然有一些改进，但仍不足以进行可靠的检测，存在漏检和缺陷（如裂缝和指状中断）周围的错误边界框。10-shot场景表现出更好的性能，错误较少，尽管在定位方面仍然存在一些问题。

• 将实际缺陷的图像a，与预测后的图像比较
• b 5-shot
• c 10-shot
• d 30-shot

30-shot场景实现了最佳性能，具有高准确性，尽管定位问题仍然存在；像黑芯和裂缝这样的缺陷被更准确地检测到，但一些错误仍然存在。缺陷（如裂缝、黑芯和指状中断）以高精度和高召回率被检测到。这些发现表明，使用CLIP嵌入的30-shot训练足以实现高性能，因此无需使用整个训练数据集或预训练的YOLOv8n模型进行微调。CLIP嵌入的集成为从少量样本中学习提供了显著优势，增强了模型的泛化能力和检测准确性。
为了进一步证明将CLIP嵌入与YOLOv8n集成的有效性，我们进行了以下实验：我们比较了在第一层使用从相同30张图像中提取的CLIP嵌入重新初始化的 YOLOv8n模型，并使用30张图像对预训练的YOLOv8模型进行微调，未做任何修改。通过将CLIP嵌入集成到YOLOv8n中，即使在训练数据有限的情况下，模型的准确性和鲁棒性也得到了增强，如图6-8所示。
Comparistion of finetuned pretrained YOLOv8n vs integrated YOLOv8n_CLIP embeddings using 30 shot
(a) loss curve of finetuned YOLOv8n
(b) loss curve of integrated YOLOv8n_CLIP
比较了在第一层使用CLIP嵌入重新初始化的YOLOv8n模型与基线30-shot训练的模型。
结果包括基线30-shot训练与重新初始化的YOLOv8n_CLIP模型的对比，展示了损失曲线。
基线30-shot训练显示损失曲线稳步下降，精度和召回率合理，mAP有所提高，但仍然存在一些误分类，特别是对于粗线和背景，如图6(a)所示。相比之下，重新初始化的YOLOv8_CLIP模型在损失曲线上表现出更快的收敛速度，精度和召回率在初期就有显著提升，mAP的提高也更快且更高，如图6(b)所示。

• 损失曲线：重新初始化的YOLOv8_CLIP模型在损失曲线上表现出更快的收敛速度。
• 精度与召回率：重新初始化的模型在初期就表现出更高的精度和召回率。
• mAP提升：重新初始化的模型在mAP上的提升更快且更高。
• 混淆矩阵：重新初始化的模型在所有类别上的准确性都有所提高，误分类减少。
• 精度-召回曲线：重新初始化的模型在所有类别上的精度和召回率值都更高，整体mAP显著提高。

此外，图7展示了混淆矩阵，而图8展示了精度-召回曲线。

重新初始化模型的混淆矩阵显示，所有类别的准确性都有所提高，误分类减少，特别是在具有挑战性的类别中，如图7(b)所示。

重新初始化模型的精度-召回曲线表明其性能优越，所有类别的精度和召回率值都更高，整体mAP显著提高，反映了其检测和定位能力的增强，如图8(b)所示。

总体而言，将CLIP嵌入与YOLOv8n集成显著提高了模型的性能，使其在训练数据有限的情况下也能实现高准确性和鲁棒性。这种方法利用了CLIP嵌入提供的丰富上下文理解能力，从而提高了泛化能力和缺陷检测能力。

为了验证使用30-shot数据集训练的重新初始化YOLOv8n模型的优越性能，进行了Wilcoxon符号秩检验，比较了微调YOLOv8n模型与YOLOv8n_CLIP模型在10次独立试验中的mAP@0.5性能，如表1所示。检验结果显示，两种模型之间存在统计学上的显著差异，p值为0.002，表明YOLOv8n_CLIP模型显著优于微调模型。

统计检验是必要的，因为它考虑了模型性能的自然变化（如随机初始化和其他随机因素），确保任何性能提升都是可靠的，而不是偶然的结果。这一全面评估表明，使用30-shot训练的集成YOLOv8n_CLIP模型确实具有显著的性能优势。

关键术语解释

30-shot训练：模型使用每个类别的30张图像进行训练，适合数据有限的应用场景。

精度（Precision）：模型正确检测到的缺陷占所有检测到的缺陷的比例。

召回率（Recall）：模型正确检测到的缺陷占所有实际缺陷的比例。

mAP（mean Average Precision）：目标检测中常用的评价指标，表示模型在不同召回率下的平均精度。

Wilcoxon符号秩检验：一种非参数统计检验，用于比较两个相关样本的差异，适用于小样本数据。

end

为了展示我们方法的卓越效果，我们开发的YOLOv8n_CLIP模型在光伏缺陷检测中表现出比现有最先进方法更高的性能。表2中列出的优越性能指标支持了这一点。该模型实现了95.74%的精度、96.51%的召回率和98.5%的mAP@0.5，超越了传统模型如YOLOv5s（90.6%精度，78.13%召回率，77.02% mAP@0.5）、SSD（79.8%精度，89.42%召回率，75.36% mAP@0.5）和Faster R-CNN（87.26%精度，80.98%召回率，78.60% mAP@0.5），以及Lu等（2023）和Fu与Cheng（2023）的最新研究。

我们方法的有效性归功于CLIP嵌入与YOLOv8n的创新融合，使得模型能够利用已有的视觉表示，从而提高其检测目标的能力，即使在训练数据有限的情况下也能表现出色。
此外，我们的方法使用K-medoids聚类选择最具代表性的图像进行训练，确保模型在一个简洁且信息丰富的数据集上进行训练。
这种方法不仅提高了训练的有效性，还增强了模型将所学知识应用于新数据的能力，展示了与其他尖端技术相比的显著优势。通过利用这些改进并采用少样本学习方法，我们展示了所提出方法的强大性和可靠性，为光伏缺陷检测领域树立了新的标准。

4. 结论

本研究提出了一种新的光伏（PV）系统缺陷检测方法。该策略将CLIP嵌入与YOLOv8n模型结合。通过利用CLIP嵌入提供的全面上下文知识，YOLOv8n的性能得到了提升。这种增强使得YOLOv8n即使在训练数据有限的情况下，也能达到高水平的准确性和可靠性。通过精心选择代表性数据集并实施高效的数据增强策略，我们成功展示了YOLOv8n能够有效学习区分性特征。这提升了数据效率、灵活性和鲁棒性。集成的YOLOv8n_CLIP模型展示了卓越的性能指标，包括95.74%的精度、96.51%的召回率和98.5%的mAP@0.5。结果强调了模型适应新任务、在具有挑战性的评估中表现出色以及保持高检测精度的能力。结果还强调了利用多模态嵌入的YOLOv8n模型来解决光伏故障识别中数据有限所带来的困难的优势。

总体而言，CLIP嵌入与YOLOv8n的结合大大提高了模型的性能，使其成为光伏系统缺陷检测的可靠且高效的解决方案。该方法减少了对大量数据和训练时间的需求，促进了光伏能源系统维护和监控的更广泛应用。后续研究将优先考虑多个关键领域，以进一步增强YOLOv8n_CLIP模型的功能和潜在用途。将模型扩展到实时检测运行中的光伏系统中的缺陷，将是实现实际应用的重要里程碑。最终，扩展模型的能力以识别其他类型光伏能源系统中的更广泛缺陷和异常，将提高其在可持续能源领域的实用性和效率。