在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步

为了提供友好的操作效果，本专栏将会手把手搭建可视化界面，我将用PyQt5 搭建一个可视化界面，可视化界面能够实现基本的图像加载与检测功能，如支持视频、摄像头，还支持更换不同的 YOLOv9 模型，并适应不同领域（如口罩检测系统、人脸检测系统、工业缺陷检测系统等），界面灵活、功能强大。通过YOLOv9加以改进设计，形成新的算法框架，一起水科研和论文，专栏会一直持续更新中，本专栏适合目标检测、分割、分类。

扩张卷积通过在连续元素之间插入间隙来扩大感受野，广泛用于计算机视觉。作者从谱分析的角度提出了三种策略来改进扩张卷积的各个阶段。与将全局膨胀率固定为超参数的传统做法不同，我们引入了频率自适应膨胀卷积 （FADC），它根据局部频率分量在空间上动态调整膨胀率。 随后，我们设计了两个插件模块，以直接提高有效带宽和感受野大小。Adaptive Kernel （AdaKern） 模块将卷积权重分解为低频和高频分量，并按通道动态调整这些分量之间的比率。

YOLOv9改进，YOLOv9检测头融合ASFF（自适应空间特征融合），全网首发

YOLOv9改进，YOLOv9检测头融合DSConv卷积，适合目标检测、分割任务

YOLOv9检测头融合DiverseBranchBlock(多样分支块)，适合目标检测、分割任务

RepConv 通过将多个卷积操作合并成一个卷积操作来优化计算的。首先在训练过程中使用多种操作（如多个卷积层、跳跃连接等）来提高模型的表达能力和训练效果，而在推理时，通过重参数化将这些操作转化为单一的卷积层，从而减少计算量和提高速度。训练阶段：在训练时，使用常规的多分支结构，包含多个卷积层、BN 层以及跳跃连接。这种结构可以使模型在训练过程中具有更高的表达能力，从而提高训练性能。这时，每个卷积层可以通过与不同的卷积核和跳跃连接组合来建模复杂的特征。

YOLOv9检测头融合，适合目标检测、分割，RFAConv的核心思想是解决卷积神经网络中的卷积核参数共享问题，并通过感受野空间特征提高网络的性能。其创新在于引入了一种新的注意力机制——感受野注意力（RFA），该机制不仅关注空间特征，还有效地解决了大尺寸卷积核的参数共享问题，从而提升了网络的表达能力。核心思想如下：卷积核参数共享问题：在标准卷积中，同一个卷积核的参数被应用于整个图像的不同感受野区域，因此不同位置的特征共享相同的卷积核参数，这会导致模型在某些情况下无法充分捕捉不同位置的局部差异。

YOLOv9改进，YOLOv9自研检测头融合HAttention用于图像修复的混合注意力检测头

HAttention 注意力机制结合了传统的空间注意力和通道注意力，同时引入了一种混合策略来灵活调整两者的权重，旨在更精确地捕捉图像中的重要信息，模型能够在不同层次、不同领域的特征中找到有意义的上下文关联，从而提升图像修复和超分辨率重建的效果。空间注意力主要关注图像中的位置关系。通过计算图像中的每个像素点对目标任务的重要性来调整特征图的空间分布。空间注意力能够帮助模型聚焦于图像中重要的区域，忽略不相关的背景。通道注意力则关注特征图中不同通道的相对重要性。

自注意力（Self-Attention）机制是HyCTAS框架中的一个重要组成部分，是一种能够捕捉输入序列中不同位置之间关系的机制。核心思想是：对于输入的每一个元素，它都会通过与所有其他元素的关系来重新计算自己的表示，这种机制允许网络根据上下文信息动态地调整其对输入各部分的关注程度。在论文中，自注意力模块主要用于捕获长程依赖，这意味着它能够关注输入数据中远离当前位置的相关信息。例如，在图像分割任务中，自注意力模块能够帮助网络理解图像中不同区域之间的关系，提升网络对图像的整体理解能力。

StarNet 是一种基于“星形操作”特性的高效神经网络架构，充分利用了星形操作在低维空间计算时能产生高维特征的优势，主要用于提高深度神经网络的表示能力，同时保持计算效率。星形操作（star operation）是 StarNet的核心运算。其特点是能够在计算上保持高效的同时，通过元素级乘法将低维特征映射到高维空间，显著提升特征的表达能力。星形操作将输入特征通过元素级乘法转换成一个高维空间的特征表示，从而增加隐式维度。这个操作是通过两个权重矩阵与输入特征的元素级乘积实现的。

空间注意力（SMSA）模块：目标： 提取每个特征的多语义空间信息，生成空间先验。空间注意力主要集中在不同特征图的空间维度（即图像的高度和宽度），通过对特征进行分解，提取在空间维度上不同语义信息的关注区域。通道注意力（PCSA）模块：建立通道之间的相互依赖关系，通过通道级别的自注意力机制来学习特征通道间的相关性。

YOLOv9改进，YOLOv9引入BiLevelRoutingAttention双层路由注意机制并添加小目标检测层，助力小目标检测

LDConv（线性可变形卷积）旨在克服标准卷积和可变形卷积的限制。标准卷积使用固定的采样位置，只能提取局部信息，而可变形卷积通过学习偏移量来调整采样网格，但它们仍然使用规则的采样网格。LDConv通过生成初始采样坐标，并根据偏移量调整采样形状，实现任意大小卷积核的特征提取

大核卷积（Large Kernel Convolution）：大核卷积通过使用更大的卷积核来捕捉更广泛的上下文信息。与传统的卷积操作相比，它能在相同的感受野下减少参数量，降低计算复杂度。该方法能够在保持较低计算开销的情况下实现全局信息的聚合。可变形卷积的作用：在医学图像中，病变区域或器官的形状常常是不规则的，传统的卷积操作难以处理这些形变。可变形卷积通过学习偏移量来调整采样网格，使得卷积核能够灵活地适应不同形态的物体。这种灵活性可以更好地表示病变或器官的边界，从而提高分割的精度。

GSConv 是一种轻量级的卷积技术，旨在提高计算效率的同时，保持足够的精度。是对深度可分卷积（DSC）的优化。深度可分卷积（DSC）：这种卷积方法将卷积操作分为两部分：首先是深度卷积（对每个输入通道单独进行卷积），然后是1x1的卷积（用于混合不同通道的输出）。虽然这种方法减少了计算量和参数，但它在特征表达能力上存在局限，因为它将通道之间的信息分离开来，导致特征融合能力较弱。

空洞卷积（Atrous Convolution）是一种可以在卷积操作中插入“空洞”来扩大感受野的技术，更有效地捕捉到图像中的大范围上下文信息。可切换空洞卷积（SAC）则通过自适应地切换不同的空洞率，使得模型能够灵活地根据特定场景调整卷积的感受野，从而更好地处理不同大小的目标。

Convolutional GLU（卷积GLU） 是一种结合了通道注意力机制和最近邻图像特征的模块，用于增强局部建模能力和模型的鲁棒性。GLU（Gated Linear Unit）在自然语言处理任务中表现优于多层感知器（MLP）。GLU 由两个线性投影组成，其中一个投影被激活函数门控。与 SE 机制不同，GLU 的门控信号来自于 token 本身，而不是全局平均池化。

AdditiveBlock 模块结合了卷积操作与加性自注意机制，以提升视觉任务的性能与计算效。多信息交互：CAS-ViT 认为Token Mixer 获取全局上下文信息的能力依赖于多维度的信息交互，包括空间和通道域。加性相似函数：引入一种新颖的加性相似函数，通过简单高效的操作实现上下文信息的整合，避免复杂的矩阵运算。AdditiveBlock 包含 Integration 子网、CATM 和 MLP 三个部分，并使用残差连接。Integration子网由三个 ReLU 激活的深度卷积层组成。

gnConv 是一种高效的空间交互操作，通过递归门控卷积实现长距离和高阶的空间交互。其核心思想是通过使用标准卷积、线性投影和逐元素乘法，模拟自注意力中的输入自适应空间混合，但具有更低的计算复杂度。输入自适应的空间交互在传统的卷积神经网络中，卷积操作是通过固定的卷积核对邻域进行加权求和，从而聚合邻域特征。这种方法的缺点是，卷积核是固定的，不具备自适应的能力。与此不同，gnConv 引入了自适应的空间交互，类似于 Transformer 中的自注意力机制。

目标检测是计算机视觉中的重要任务，广泛应用于安防监控、自动驾驶、智能家居等领域。YOLO系列模型由于其高效的检测速度和较高的准确率，成为目标检测任务的首选算法之一。本项目结合 YOLOv9与 PyQt5，构建了一个图形化界面，便于用户进行目标检测的操作和展示，实现对图片、视频和摄像头的实时目标检测，不仅可以用于大论文的工作量展示，还可以作为毕业设计。

DynamicConv（动态卷积）是一个用于提高卷积神经网络（CNN）性能的技术，核心思想是动态地生成卷积核（filter），而不是使用固定的卷积核。通过引入更多的计算灵活性和适应性来增强卷积操作的表达能力，进而提升模型的性能。专家选择：DynamicConv 通过引入多个“专家”（experts），每个专家学习特定的卷积模式。输入图像的不同部分会选择不同的专家进行卷积。动态卷积核生成：根据输入的不同特征，专家网络动态地生成卷积核，而不是使用固定的卷积核。

Inner-IoU引入辅助边界框，通过缩放因子生成不同大小的辅助边界框计算损失。小比例的辅助边界框适用于高 IoU 样本，有助于加快收敛，而大比例的辅助边界框适用于低 IoU 样本。Inner-IoU 流程如图所示（图摘自论文）：作者通过将 ratio 值设置 0.7 到 0.8 之间小于 1，产生小于实际边框的辅助边框。实验结果证明其能够对高 IoU 样本产生增益。论文地址代码地址对象检测是计算机视觉任务中的核心问题之一，其效果在很大程度上取决于损失函数的定义——衡量机器学习模型预测结果准确性的方法。

Slide Loss的核心在于处理样本不平衡问题，对检测中的难易样本进行加权。其主要目的是在训练过程中，将更多的关注放在难样本上，让模型对这些样本的学习更为深入，而不过度关注简单样本。Slide Loss 的设计灵感来源于样本的 IoU 值。易样本：IoU 值高于 µ 的样本。难样本：IoU 值低于 µ 的样本。Slide Loss 的权重设计像“滑梯”形状，对接近阈值 µ 的样本赋予较高权重。赋予低于阈值的难样本较高的权重，使模型在训练时对这些样本更为关注。

EffectiveSE 模块是改进传统 SE 机制的一个关键组件，解决原始 SE 机制在卷积神经网络（CNN）中可能出现的信息丢失问题。原始的 SE 机制通过学习通道间的依赖关系，对通道进行加权，增强特征图。然而，传统SE模块通过两个全连接（FC）层对通道维度进行压缩再扩展，这一过程可能导致部分通道信息的丢失。而 EffectiveSE 模块的改进简化了这一结构，将原本的两个全连接层替换为一个全连接层，从而避免了通道维度的缩减，保留了原始的通道信息。

通过引入一种新的线性注意力机制，称为Focused Linear Attention，来解决现有线性注意力方法在视觉任务中的性能下降问题，传统的自注意力机制具有二次计算复杂度，在处理长序列时非常耗费计算资源。而线性注意力通过减少计算复杂度来解决这个问题，但通常会带来性能下降或引入额外的计算开销。Focused Linear Attention 通过两方面的改进来提高性能：关注能力（Focus Ability）：传统线性注意力的权重分布过于平滑，无法有效关注到关键信息。

WTConv 的核心思想是通过结合卷积神经网络（CNN）的强大特征提取能力与小波变换的多尺度特性，来实现大感受野的卷积操作，同时避免传统大卷积核带来的参数爆炸问题。传统的卷积操作通过滑动小窗口在图像上逐步执行局部特征提取，感受野的大小直接取决于卷积核的尺寸。随着卷积核的增大，参数量呈指数增长，导致网络训练效率降低、计算资源消耗增加。为解决这些问题，WTConv 提出了在小波域中执行卷积操作的策略。小波变换是一种常用于信号处理的技术，能够将信号分解为不同频率成分。

EfficientNet论文中研究了卷积网络的缩放和，并证明对深度，宽度和分辨率复合缩放的重要性，因此精度和效率更好。为了阐述相关的原理，我们提出了简单有效的复合缩放方法，使得模型缩放具有一定设计准则，同时兼顾了模型的效率。我下文将 YOLOv9 分割模型改进主干网络为 EfficientNet 融合网络结构。论文地址代码地址下文都是手把手教程，跟着操作即可添加成功把环境配置好，数据集处理好，训练基本能成功，创作不易，请帮忙点一个爱心，关注我，带你不挂科！

YOLOv9 通过研究数据传输时的信息丢失问题，提出了可编程梯度信息（PGI）和通用高效层聚合网络（GELAN）架构，提高了参数利用率和模型性能。与 SOTA 方法相比，GELAN 仅使用传统卷积算子即可实现更好的参数利用率。PGI 适用于从轻型到大型的各种模型，使从头开始训练的模型能够获得更好的结果。YOLOv9 被评价为新的 SOTA 实时目标检测器。接下来本文手把手教你训练自己分割数据集和推理训练好的分割模型。

PP-LCNetV2模型结构如下：在PP-LCNetV1基础上重参数化策略组合了不同大小卷积核的深度卷积，并优化了点卷积、Shortcut等。

作者提出的Ghost模块与现有的高效卷积方案有主要区别。与广泛使用1×1逐点卷积的单元相比，Ghost模块中的主要卷积可以有定制的核大小。i现有方法采用逐点卷积处理跨通道特征，然后采用深度卷积处理空间信息。相比之下，Ghost模块采用普通卷积首先生成少量内在特征图，然后利用廉价的线性操作增强特征并增加通道。以前的高效架构中处理每个特征图的操作限于深度卷积或移位操作，而Ghost模块中的线性操作可以有很大的多样性。此外，在Ghost模块中，恒等映射与线性变换并行，以保留内在特征图。

GhostNetV2 架构通过引入DFC 注意力，提升了网络的表达能力，同时保持了在移动设备上的高效性。DFC 注意力机制使用两个解耦的全连接层来处理特征图的水平和垂直方向。通过将输入特征图沿水平方向和垂直方向进行特征聚合，DFC注意力机制能够捕捉到全局信息，并提升模型的表达能力

GhostNetV3引入了多分支重参数化机制，通过在卷积层中添加额外的平行分支来改善性能。这些分支在训练过程中提供更多的表征能力，最终通过将多个分支重组为一个卷积层来实现推理时的高效性。通过添加配备 BatchNorm 层的重复分支将再参数化引入紧凑型模型。

AFF和iAFF的示意图如下：AFF模块：通过关注通道的不同尺度（即多尺度通道注意力），解决不同层次特征融合的语义和尺度不一致问题。图（a）中两个输入特征图（X 和 Y）的信息，经过多尺度通道注意力模块（MS-CAM）后，输出特征图Z。输入特征 X 和 Y：分别表示不同层或不同尺度的特征图。它们的尺寸都是 C×H×W （C 是通道数，H 和 W 是特征图的高度和宽度）。加权乘法：首先对 X 和 Y进行通道上的加权操作，用不同的权重去强调某些通道的信息。

FasterNet的整体架构由四个分层阶段组成，每个阶段包含一组FasterNet模块，并在前面加一个嵌入或合并层。最后三层用于特征分类。每个FasterNet模块内部，一个PConv层后跟两个PWConv层，为了保持特征多样性并降低延迟，归一化和激活层仅在中间层之后进行，其中，PConv 是一种快速高效的卷积操作，通过仅对部分输入通道应用卷积滤波器，而保持其余通道不变，从而减少了计算量和内存访问。

焦点调制网络（简称FocalNets），其中自注意力（SA）完全由焦点调制模块取代，用于在视觉中建模标记交互。焦点调制包括三个组件：（i）焦点情境化，通过一堆深度卷积层实现，从短到长范围编码视觉上下文，（ii）门控聚合，选择性地将上下文聚集到每个查询标记的调制器中，以及（iii）逐元素仿射变换，将调制器注入查询中

YOLOv9主干网络替换为RepViT，助力涨点，通过结合轻量级ViTs的架构设计，重新审视了轻量级CNNs的高效设计，最终得到了RepViT，这是一种为资源受限的移动设备设计的全新轻量级CNN家族。RepViT在多个视觉任务中超越了现有的轻量级ViTs和CNNs，表现出了优异的性能和延迟，突显了纯轻量级CNNs在移动设备上应用的广阔前景。

边界框回归（BBR）是目标检测中的核心任务之一，BBR损失函数显著影响其性能。然而，观察到现有基于IoU的损失函数存在不合理的惩罚因子，导致回归过程中锚框扩展，并显著减缓收敛速度。为了解决这个问题，深入分析了锚框扩展的原因。针对这个问题，提出了一种新的Powerful-IoU（PIoU）损失函数，该函数结合了目标尺寸自适应惩罚因子和基于锚框质量的梯度调节函数。PIoU损失引导锚框沿着高效路径回归，收敛速度比现有基于IoU的损失函数更快。此外，还研究了聚焦机制，并引入了一种非单调注意力层。

今天写一下YOLOv8画改进前后的对比结果图， 画损失对比图、mAP(平均精度值)对比图、recall(召回率)对比图，precision(精确率)对比图，代码已经写好了，大家只需复制粘贴即可运行。本文提供两种画法：1.合并画法：精度和损失的各项指标在一个图形窗口中显示多张子图。这个画法更加紧凑和直观，可以一次性对比多个指标。2.逐个画法：逐个绘制每个指标的图

MobileNetV4具有面向移动设备的通用高效架构设计。其核心是我们引入的通用倒置瓶颈（Universal Inverted Bottleneck，UIB）搜索块，这是一种统一且灵活的结构，融合了倒置瓶颈（IB）、ConvNext、前馈网络（FFN）和一种新型的额外深度卷积（ExtraDW）变体。