AIcurator的博客

本文介绍了DeepLabv3+语义分割模型的改进策略，重点提出了空间和通道协同注意力模块（SCSA）。SCSA由可共享的多语义空间注意力（SMSA）和渐进式通道自注意力（PCSA）组成，通过多语义信息的集成和渐进式压缩策略，有效提升了特征提取和语义差异缓解能力。实验在多个基准数据集上进行，结果表明SCSA在分类、目标检测和分割任务中均优于现有注意力机制，并展现出更强的泛化能力。文章还详细介绍了SCSA模块的代码实现和模型训练配置，为语义分割领域的研究提供了新的思路和工具。

本专栏深入探讨了DeepLabv3+的改进策略，旨在提升语义分割的精度与效率。通过融合注意力机制、轻量化设计与多尺度优化，我们提出了一种即插即用的模块，包括ASPP+升级和解码器。此外，专栏还介绍了如何通过代码实现这些改进，包括新建和修改配置文件、注册模块、以及运行训练指令。这些改进策略和代码实现为研究人员和开发者提供了实用的工具，以在图像分割任务中达到更高的性能。

本专栏聚焦于DeepLabv3+的改进，旨在提升语义分割的精度与效率。通过融合注意力机制、轻量化设计与多尺度优化，我们提出了一系列即插即用的改进模块，如ASPP+升级和解码器优化。特别地，我们针对图像去雾任务，对U-Net进行了最小化修改，引入了门控机制和残差块，构建了名为gUNet的紧凑网络。实验表明，gUNet在多个去雾数据集上均优于现有方法，且显著降低了计算开销。此外，我们还提供了详细的代码实现和配置指南，帮助读者快速复现和改进模型。通过这些改进策略，我们期望推动语义分割技术的发展，为相关应用提供更高

本专栏介绍了DeepLabv3+的改进策略，重点在于提升语义分割的精度与效率。通过融合注意力机制、轻量化设计与多尺度优化，提出了自调制特征聚合（SMFA）模块，有效结合局部与非局部特征，提升图像重建的准确性。SMFA模块采用自关注近似（EASA）分支和局部细节估计（LDE）分支，结合部分卷积前馈网络（PCFN），显著提高了计算效率与重建质量。实验表明，SMFANet在多个公共数据集上表现优异，尤其在运行时间上比SwinIR-light快10倍，性能提升0.14dB。专栏还提供了详细的代码实现与配置步骤，帮助

本专栏介绍了DeepLabv3+的改进策略，重点在于提升语义分割的精度与效率。通过融合注意力机制、轻量化设计与多尺度优化，提出了即插即用的改进模块，如ASPP+升级和解码器优化。特别地，引入了WTConv层，利用小波变换实现大感受野，避免了过度参数化问题。WTConv层在ConvNeXt和MobileNetV2架构中表现出色，增强了图像分类和下游任务的性能，同时提高了对图像损坏的鲁棒性和对形状的响应。专栏提供了完整的代码实现和训练步骤，帮助用户快速应用这些改进策略。

#这是KAN 实现的第二种方式，原理一样，代码有所修改= 0:= 0:stride,padding,dilation,groups=1,stride,padding,dilation,groups=1,return xreturn yndim=3,ndim=2,ndim=1,##此处填写模块名称。

由于残差连接中的深度退化效应，许多依赖堆叠层进行信息交换的高效视觉变换器模型往往无法形成充分的信息混合，导致视觉感知不自然。为了解决这个问题，在本文中，我们提出了聚合注意力，这是一种仿生设计的标记混合器，模拟了生物中央凹视觉和连续眼球运动，同时使特征图上的每个标记都能具有全局感知。此外，我们引入了可学习的标记，它们与传统的查询和键进行交互，这进一步丰富了亲和矩阵的生成方式，而不仅仅是依赖于查询和键之间的相似性。我们的方法不依赖堆叠进行信息交换，从而有效地避免了深度退化，并实现了自然的视觉感知。

本文提出的方法，由三个模块组成：1）显式意图利用模块（EIEM），采用对比学习框架，根据触发项提取用户明确的意图；2）潜在意图探索模块（LIEM），负责基于多个共现视图探索用户的潜在意图；3）意图不确定性测量模块（IUMM），在潜在空间中给出分布估计，并将不确定性注入到意图建模中。

异常检测通常被当作单类分类问题来处理，其中模型只能从正常训练样本中学习，但在评估时则要同时考虑正常和异常的测试样本。在成功的异常检测方法中，有一类显著的方法依赖于预测被遮蔽的信息（例如补丁、未来帧等），并利用相对于被遮蔽信息的重建误差作为异常分数。与相关方法不同，我们提出将基于重建的功能整合到一种新颖的自监督预测架构构建模块中。所提出的自监督模块具有通用性，可以轻松地融入各种最先进的异常检测方法。我们的模块以具有扩张滤波器的卷积层开始，其中感受野的中心区域被遮蔽。生成的激活图通过通道注意力模块。

近期的研究将注意力投向了网络设计中尚未充分挖掘的“星运算”（逐元素乘法）的潜力。尽管直观的解释比比皆是，但其应用背后的基础原理却鲜少有人探究。我们的研究试图揭示星运算将输入映射到高维非线性特征空间的能力——类似于核技巧——且无需拓宽网络。我们进一步引入了 StarNet，这是一种简单却强大的原型，在紧凑的网络结构和高效的预算下展现出了令人瞩目的性能和低延迟。就像夜空中的星星，星运算看似平凡，却蕴含着无限的潜力。

遥感图像（RSI）中的目标检测常常面临一系列不断增加的挑战，包括目标尺度的巨大差异以及多样化的背景环境。先前的方法试图通过扩展骨干网络的空间感受域来应对这些挑战，要么是通过大核卷积，要么是通过扩张卷积。然而，前者通常会引入大量的背景噪声，而后者则存在生成过于稀疏特征表示的风险。在本文中，我们引入了多尺度卷积核的 Poly 核 Inception 网络（PKINet）来处理上述挑战。PKINet 采用不进行扩张的多尺度卷积核来提取不同尺度的目标特征并捕捉局部上下文。

我们推出了最新一代的 MobileNets，即 MobileNetV4（简称 MNv4），其架构设计适用于移动设备，具有普遍高效的特性。其核心部分是我们引入了通用的倒置瓶颈（UIB）搜索块，这是一种统一且灵活的结构，融合了倒置瓶颈（IB）、ConvNext、前馈网络（FFN）以及一种新颖的额外深度卷积（ExtraDW）变体。除了 UIB 外，我们还推出了 Mobile MQA，这是一种针对移动加速器定制的注意力块，实现了 39% 的速度提升。

红外小目标检测是一项重要的计算机视觉任务，涉及在红外图像中识别和定位通常仅包含少量像素的微小目标。然而，由于目标尺寸极小以及红外图像背景通常较为复杂，该任务面临诸多挑战。在本文中，我们提出了一种深度学习方法——HCF-Net，通过多个实用模块显著提升了红外小目标检测性能。具体而言，它包括并行化补丁感知注意力（PPA）模块、维度感知选择性融合（DASI）模块以及多膨胀通道细化（MDCR）模块。PPA 模块采用多分支特征提取策略，以捕获不同尺度和层次的特征信息。DASI 模块实现了自适应通道选择与融合。

随着移动计算技术的迅速发展，在移动设备上部署高效的物体检测算法已成为计算机视觉领域的一个关键研究方向。本研究专注于优化 YOLOv7 算法，以提高其在移动平台上的运行效率和速度，同时确保高精度。通过结合诸如分组卷积、ShuffleNetV2 和视觉变换器等先进技术，本研究成功地减少了模型的参数数量和内存使用，简化了网络架构，并增强了在资源受限设备上的实时物体检测能力。实验结果表明，改进后的 YOLO 模型表现出色，在显著提高处理速度的同时保持了卓越的检测精度。

本文的重点是在权衡参数、FLOPs和性能的同时，为密集预测开发现代、高效、轻量级的模型。倒立残差块(IRB)是轻量级cnn的基础结构，但在基于注意力的研究中还没有相应的基础结构。本文从高效IRB和Transformer的有效组件的统一角度重新思考轻量级基础架构，将基于cnn的IRB扩展到基于注意力的模型，并抽象出一个用于轻量级模型设计的单残留元移动块(MMB)。根据简单而有效的设计准则，我们推导出了一种现代的反向残差移动块(iRMB)，并构建了一个只有iRMB的类resnet高效模型(EMO)用于下游任务。

近年来，大核卷积神经网络(ConvNets)得到了广泛的研究关注，但有两个尚未解决的关键问题需要进一步研究。1)现有的大核卷积神经网络的架构在很大程度上遵循了传统卷积神经网络或变压器的设计原则，而大核卷积神经网络的架构设计仍然有待解决。2)由于变形控制了多种模态，卷积神经网络在视觉以外的领域是否也具有较强的普遍感知能力还有待研究。在本文中，我们从两个方面做出贡献。1)我们提出了设计大核卷积神经网络的四个架构准则，其核心是利用大核区别于小核的本质特征——它们可以看到宽而不深入。

凭借速度与精度之间的出色平衡，前沿的 YOLO 框架已成为物体检测中最高效的算法之一。然而，YOLO 网络在脑肿瘤检测中的性能却鲜少有人研究。我们提出一种基于通道洗牌的重新参数化卷积的新型 YOLO 架构（RCS-YOLO）。我们介绍了 RCS 和 RCS 的一次性聚合（RCS-OSA），它们将特征级联与计算效率相结合，以提取更丰富的信息并减少时间消耗。在脑肿瘤数据集 Br35H 上的实验结果表明，所提出的模型在速度和精度方面均优于 YOLOv6、YOLOv7 和 YOLOv8。

我们的目标是为物体检测领域提供一种高效且性能出色的物体检测器，命名为 YOLO-MS。其核心设计基于一系列关于不同卷积核大小如何影响不同尺度物体检测性能的研究。由此得出的新策略能够显著增强实时物体检测器的多尺度特征表示。为了验证我们策略的有效性，我们构建了一个名为 YOLO-MS 的网络架构。我们在不依赖任何其他大规模数据集（如 ImageNet）或预训练权重的情况下，从零开始在 MS COCO 数据集上训练我们的 YOLO-MS。

结构重参数化在各种计算机视觉任务中越来越受到关注。其目标是在不增加推理时间成本的情况下提高深度模型的性能。尽管在推理过程中效率很高，但此类模型严重依赖复杂的训练时模块来实现高精度，从而导致额外的训练成本较大。在本文中，我们提出了在线卷积重参数化（OREPA），这是一种两阶段的流程，旨在通过将复杂的训练时模块压缩为单个卷积来减少巨大的训练开销。为了实现这一目标，我们引入了一个线性缩放层，以更好地优化在线模块。借助降低的训练成本，我们还探索了一些更有效的重参数化组件。

我们重新审视了现代卷积神经网络（CNN）中的大卷积核设计。受近期视觉变换器（ViT）进展的启发，在本文中，我们证明使用少量的大卷积核而非一堆小卷积核可能是一种更强大的范式。我们提出了五条设计高效高性能大卷积核 CNN 的指导原则，例如应用重新参数化的大深度卷积。遵循这些原则，我们提出了 RepLKNet，这是一种纯 CNN 架构，其卷积核大小高达 31×31，与常用的 3×3 形成对比。

我们提出了一种通用的卷积神经网络（ConvNet）构建模块，可在不增加推理时间成本的情况下提升性能。该模块名为多样化分支块（DBB），通过结合不同尺度和复杂度的多样化分支来丰富特征空间，从而增强单个卷积的表示能力，这些分支包括卷积序列、多尺度卷积和平均池化。训练完成后，DBB 可以等效转换为单个卷积层以进行部署。与新型 ConvNet 架构的改进不同，DBB 在训练时增加了微观结构的复杂性，但保持了宏观架构不变，因此可以作为任何架构中常规卷积层的直接替代品。

我们重新审视了现代卷积神经网络（CNN）中的大卷积核设计。受近期视觉变换器（ViT）进展的启发，在本文中，我们证明使用少量的大卷积核而非一堆小卷积核可能是一种更强大的范式。我们提出了五条设计高效高性能大卷积核 CNN 的指导原则，例如应用重新参数化的大深度卷积。遵循这些原则，我们提出了 RepLKNet，这是一种纯 CNN 架构，其卷积核大小高达 31×31，与常用的 3×3 形成对比。

注意力机制使神经网络能够准确地聚焦于输入的所有相关元素，已成为提升深度神经网络性能的关键组件。在计算机视觉研究中，主要使用两种注意力机制，即空间注意力和通道注意力，分别用于捕捉像素级的成对关系和通道依赖性。尽管将它们融合在一起可能会比单独实现它们取得更好的性能，但这不可避免地会增加计算开销。在本文中，我们提出了一种高效的“Shuffle 注意力（SA）”模块来解决这一问题，该模块采用 Shuffle Units 来有效地结合这两种注意力机制。具体而言，SA 首先将通道维度分组为多个子特征，然后并行处理它们。

🔥【DeepLabv3+改进专栏！探索语义分割新高度】🌟 你是否在为图像分割的精度与效率发愁？📢 本专栏重磅推出：✅ 独家改进策略：融合注意力机制、轻量化设计与多尺度优化✅ 即插即用模块：ASPP+升级、解码器。

得益于在通道或空间位置之间建立相互依赖关系的能力，注意力机制在最近的多种计算机视觉任务中得到了广泛研究和广泛应用。在本文中，我们研究了轻量级但有效的注意力机制，并提出了三元组注意力机制，这是一种通过使用三分支结构捕捉跨维度交互来计算注意力权重的新方法。对于输入张量，三元组注意力机制通过旋转操作后跟随残差变换来构建跨维度依赖关系，并以极低的计算开销编码通道间和空间信息。我们的方法简单高效，可以轻松地作为附加模块插入经典骨干网络中。

卷积神经网络（CNN）的核心构建单元是卷积算子，它使得网络能够在每一层的局部感受野内融合空间和通道层面的信息，从而构建出具有信息量丰富的特征。大量的先前研究都探讨了这种关系中的空间部分，旨在通过增强其特征层级中的空间编码质量来增强 CNN 的表示能力。在本工作中，我们转而关注通道关系，并提出了一个新颖的架构单元，我们称之为“挤压与激励”（SE）块，它通过明确地对通道之间的相互依赖关系进行建模来自适应地重新调整通道层面的特征响应。

我们提出了一种简单却强大的卷积神经网络架构，其推理时间模型具有类似于 VGG 的结构，仅由一系列 3×3 卷积和 ReLU 组成，而训练时间模型则具有多分支拓扑结构。这种将训练时间架构与推理时间架构分离的做法是通过一种结构重新参数化技术实现的，从而使该模型得以命名 RepVGG。在 ImageNet 数据集上，RepVGG 达到了超过 80%的 top-1 准确率，这是迄今为止普通模型首次取得的成就，据我们所知。

注意力机制是计算机视觉领域中应用最为广泛的组件之一，它能够帮助神经网络突出显著元素并抑制无关元素。然而，绝大多数通道注意力机制仅包含通道特征信息而忽略了空间特征信息，从而导致模型表示效果不佳或目标检测性能低下，并且空间注意力模块通常复杂且昂贵。为了在性能和复杂性之间取得平衡，本文提出了一种轻量级的混合局部通道注意力（MLCA）模块以提高目标检测网络的性能，并且它能够同时融合通道信息和空间信息，以及局部信息和全局信息以提高网络的表现效果。

医学图像中常常会出现诸如对比度低以及器官形状显著变化等特征。医学成像中分割性能的提升往往受限于现有注意力机制普遍存在的不足的适应能力。本文提出了一种高效的通道先验卷积注意力（CPCA）方法，支持在通道和空间维度上动态分配注意力权重。通过采用多尺度深度卷积模块，有效地提取了空间关系的同时又保留了通道先验。CPCA 具有聚焦于信息丰富的通道和重要区域的能力。基于 CPCA 提出了一种名为 CPCANet 的医学图像分割网络。

近期关于遥感目标检测的研究主要集中在改进有方向性的边界框的表示上，但却忽略了遥感场景中所呈现的独特先验知识。这种先验知识是有用的，因为微小的遥感目标可能在没有参考足够长距离的上下文的情况下被误检，而且不同类型的对象所需的长距离上下文可能各不相同。在这篇论文中，我们考虑了这些先验知识，并提出了大型选择性核网络（LSKNet）。LSKNet 能够动态调整其大型空间感受野，以更好地模拟遥感场景中各种对象的范围上下文。据我们所知，这是首次在遥感目标检测领域探索大型且选择性的核机制。

卷积神经网络（CNNs）通过收集语义子特征的层次结构和不同部分来生成复杂对象的特征表示。这些子特征通常以分组的形式分布在每个层的特征向量中，代表各种语义实体。然而，这些子特征的激活往往受到相似模式和噪声背景的空间影响，导致定位和识别出现错误。我们提出了一种空间分组增强（SGE）模块，该模块可以通过为每个语义组中的每个空间位置生成注意力因子来调整每个子特征的重要性，从而使每个单独的组能够自主增强其学习到的表达并抑制可能的噪声。

在本文中，我们提出了一种概念上简单但非常有效的注意力模块，用于卷积神经网络（ConvNets）。与现有的通道级和空间级注意力模块不同，我们的模块无需向原始网络添加参数，而是为每一层的特征图推导三维注意力权重。具体而言，我们基于一些著名的神经科学理论，提出优化能量函数以找到每个神经元的重要性。我们进一步推导出能量函数的快速闭式解，并证明该解可以在不到十行代码中实现。该模块的另一个优点是，大多数运算都是基于定义的能量函数的解决方案来选择的，避免了过多的结构调整工作。

近期有关移动网络设计的研究表明，通道注意力机制（例如“挤压与激发”注意力机制）在提升模型性能方面表现出显著效果，但这些研究通常忽略了位置信息，而位置信息对于生成空间选择性注意力图至关重要。在本文中，我们通过将位置信息嵌入到通道注意力机制中，提出了一种用于移动网络的新型注意力机制，我们将其称为“坐标注意力”。与通过二维全局池化将特征张量转换为单个特征向量的通道注意力不同，坐标注意力将通道注意力分解为两个 1D 特征编码过程，分别沿着两个空间方向对特征进行聚合。

我们提出了 SegNeXt，这是一种用于语义分割的简单卷积网络架构。由于自注意力机制在编码空间信息方面的高效性，近期基于 Transformer 的模型在语义分割领域占据了主导地位。在本文中，我们表明卷积注意力是一种比 Transformer 中的自注意力机制更高效且更有效的编码上下文信息的方式。通过重新审视成功的分割模型所具有的特征，我们发现了导致分割模型性能提升的关键组件。这促使我们设计了一种新颖的卷积注意力网络，该网络使用廉价的卷积操作。

通道或空间注意力机制在生成更具区分性的特征表示方面表现出显著的效果，在各种计算机视觉任务中均有体现。然而，通过通道维度缩减来建模跨通道关系可能会在提取深度视觉表示时带来副作用。在本文中，提出了一种新颖高效的多尺度注意力（EMA）模块。我们专注于保留每个通道的信息并减少计算开销，将部分通道重塑为批维度，并将通道维度分组为多个子特征，这使得空间语义特征在每个特征组内分布良好。

为了提升各类计算机视觉任务的性能，人们已经研究了多种注意力机制。然而，先前的方法忽略了在通道和空间两个方面保留信息以增强跨维度交互的重要性。因此，我们提出了一种全局注意力机制，通过减少信息损失并放大全局交互表示来提升深度神经网络的性能。我们引入了多层感知机中的 3D 重排与卷积空间注意力子模块来实现通道注意力。在 CIFAR-100 和 ImageNet-1K 图像分类任务上的评估表明，我们的方法在 ResNet 和轻量级 MobileNet 上稳定地优于几种近期的注意力机制。

识别不太显著的特征是模型压缩的关键。然而，这在革命性的注意力机制中尚未得到研究。在这项工作中，我们提出了一种基于归一化的注意力模块（NAM），它抑制不太显著的权重。它对注意力模块施加权重稀疏性惩罚，从而在保持相似性能的同时提高计算效率。表演。在 Resnet 和 Mobilenet 上与另外三种注意力机制进行的对比表明，我们的方法能带来更高的准确率。

🔥【DeepLabv3+改进专栏！探索语义分割新高度】🌟 你是否在为图像分割的精度与效率发愁？📢 本专栏重磅推出：✅ 独家改进策略：融合注意力机制、轻量化设计与多尺度优化✅ 即插即用模块：ASPP+升级、解码器PS:订阅专栏提供完整代码新建mmseg/models/attentions/A2Attention.py，添加如下代码：在mmseg/models/attentions/__init__.py注册模块：步骤二新建configs/_base_/models/deeplab

我们提出卷积块注意力模块（CBAM），这是一种简单而有效的前馈卷积神经网络注意力模块。给定一个中间特征图，我们的模块会依次沿两个独立维度（通道和空间）推断注意力图，然后将注意力图与输入特征图相乘，以实现自适应特征细化。由于 CBAM 是一个轻量级且通用的模块，它可以无缝集成到任何 CNN 架构中，几乎不会增加开销，并且可以与基础 CNN 一起端到端训练。我们通过在 ImageNet-1K、MS COCO 检测和 VOC 2007 检测数据集上进行的大量实验验证了 CBAM。