<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[berling00的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/berling00</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; berling00]]></copyright><item><title><![CDATA[【论文阅读 | TCSVT 2024 | CCAFusion: 用于红外与可见光图像融合的跨模态坐标注意力网络】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/152934449</link><guid>https://blog.youkuaiyun.com/berling00/article/details/152934449</guid><author>berling00</author><pubDate>Fri, 10 Oct 2025 17:51:49 +0800</pubDate><description><![CDATA[红外与可见光图像融合旨在生成包含全面信息的单一图像。它可以保持丰富的纹理特征和热信息。然而，对于现有的图像融合方法，融合图像要么牺牲了热目标的显著性和纹理的丰富性，要么引入了像伪影这样的无用信息干扰。为了缓解这些问题，本文提出了一种有效的用于红外与可见光图像融合的跨模态坐标注意力网络，称为CCAFusion。为了充分整合互补特征，设计了基于坐标注意力的跨模态图像融合策略，该策略由特征感知融合模块FAF）和特征增强融合模块FEF）组成。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | ECCV 2024 | DAMSDet：具有竞争性查询选择与自适应特征融合的动态自适应多光谱检测变换器】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/152335637</link><guid>https://blog.youkuaiyun.com/berling00/article/details/152335637</guid><author>berling00</author><pubDate>Tue, 30 Sep 2025 23:11:37 +0800</pubDate><description><![CDATA[红外-可见光目标检测旨在通过融合红外和可见光图像的互补信息，实现鲁棒甚至全天候的目标检测。然而，高度动态变化的互补特性以及普遍存在的模态错位，使得互补信息的融合变得困难。在本文中，我们提出了一种动态自适应多光谱检测 Transformer（DAMSDet），以同时解决这两个挑战。具体来说：本文·提出了一种模态竞争性查询选择（Modality Competitive Query Selection, MCQS）策略，以提供有用的先验信息。该策略可以为每个目标动态选择基本显著的模态特征表示。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | WACV 2025 | MCOR：通过跨模态信息互补和余弦相似性通道重采样模块增强的多光谱目标检测】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/152131323</link><guid>https://blog.youkuaiyun.com/berling00/article/details/152131323</guid><author>berling00</author><pubDate>Fri, 26 Sep 2025 18:30:34 +0800</pubDate><description><![CDATA[从不同模态获取的图像可以通过互补可见光(RGB)和红外(IR)图像中的专有信息，有效提高检测模型的准确性和可靠性。RGB和IR图像的不同特性导致模态不平衡问题；融合多模态信息会极大地影响检测精度，因为在整合过程中每个模态提供的一些独特信息会丢失；RGB和IR图像在融合时保留了各自模态的噪声。跨模态信息互补(CIC)模块余弦相似性通道重采样(CSCR)模块。所提出的方法解决了模态不平衡问题，并在特征级别高效地融合了RGB和IR图像。引入了多光谱互补对象加权重采样(MCOR)模块，它使用。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | TGRS 2025 | DHANet：用于多模态无人机目标检测的双流分层交互网络​​】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/152130669</link><guid>https://blog.youkuaiyun.com/berling00/article/details/152130669</guid><author>berling00</author><pubDate>Fri, 26 Sep 2025 17:53:59 +0800</pubDate><description><![CDATA[基于无人机的遥感已成为高分辨率动态监测的关键技术。然而，日间和夜间模式之间的差异会在极端光照条件下引发多尺度目标特征的失配。本文提出了一种用于多模态无人机目标检测的双流分层交互网络（DHANet），该网络增强了每种模态下多尺度目标与背景之间的可区分性。具体来说，DHANet设计了一个模态自适应非对称注意力模块（M-AAM），通过全局和局部注意力机制增强目标级语义表示。M-AAM采用全局上下文注意力和局部位置注意力来替代传统的多尺度上下文提取，从而有效整合对象的空间-通道信息。此外，该网络配备了一个。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | ICCV 2025 | M-SpecGene：面向 RGBT 多光谱视觉的通用基础模型​​】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/152128946</link><guid>https://blog.youkuaiyun.com/berling00/article/details/152128946</guid><author>berling00</author><pubDate>Fri, 26 Sep 2025 17:02:18 +0800</pubDate><description><![CDATA[RGB - 热成像（RGBT）多光谱视觉对于复杂环境下的稳健感知至关重要。大多数 RGBT 任务遵循 “逐个案例” 的研究范式，依赖人工定制模型来学习面向任务的表征。然而，这种范式本质上受到人工归纳偏差、模态偏差和数据瓶颈的限制。为解决这些局限，首次尝试构建通用RGBT 多光谱基础模型（M-SpecGene），该模型旨在通过自监督方式从大规模广泛数据中学习模态不变表征。M-SpecGene为多光谱融合提供了新视角，并将以往 “逐个案例” 的研究整合到统一范式中。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | IF 2025 | LFDT-Fusion：潜在特征引导的扩散 Transformer 模型在通用图像融合中的应用】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/152085249</link><guid>https://blog.youkuaiyun.com/berling00/article/details/152085249</guid><author>berling00</author><pubDate>Fri, 26 Sep 2025 13:00:55 +0800</pubDate><description><![CDATA[在图像融合任务中，扩散模型在原始分辨率图像上多次迭代以进行特征映射的效率较低。为解决这一问题，本文提出了一种用于通用图像融合的高效潜在特征引导扩散模型。该模型由像素空间自动编码器和紧凑的基于 Transformer 的扩散网络组成。具体而言，像素空间自动编码器是一种新颖的基于 UNet 的潜在扩散策略，通过下采样将输入压缩到低分辨率潜在空间。同时，跳跃连接将多尺度中间特征从编码器传递到解码器以进行解码，从而保留原始输入的高分辨率信息。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | IF 2025 | IF-USOD：用于水下显著目标检测的多模态信息融合交互式特征增强架构】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/151874769</link><guid>https://blog.youkuaiyun.com/berling00/article/details/151874769</guid><author>berling00</author><pubDate>Fri, 19 Sep 2025 22:39:11 +0800</pubDate><description><![CDATA[水下显著目标检测（USOD）因其在各种水下视觉任务中的优越性能而受到越来越多的关注。尽管兴趣日益增长，但USOD的研究仍处于起步阶段，现有方法通常难以捕捉显著目标的远程上下文特征。此外，这些方法经常忽略多模态信息的互补性。多模态信息融合可以使先前难以辨别的目标变得更容易检测，因为从不同源图像中捕获互补特征能够更准确地描述目标。在这项工作中，我们探索了一种创新方法IF-USOD，该方法整合RGB和深度信息，并结合交互式特征增强，以推进水下显著目标的检测。我们的方法首先利用。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | AAAI 2025 | Mamba YOLO: 基于状态空间模型的目标检测简单基线​​】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/151871627</link><guid>https://blog.youkuaiyun.com/berling00/article/details/151871627</guid><author>berling00</author><pubDate>Fri, 19 Sep 2025 18:44:44 +0800</pubDate><description><![CDATA[在深度学习技术的快速发展推动下，YOLO系列为实时目标检测器设立了新基准。此外，基于Transformer的结构已成为该领域最强大的解决方案，极大地扩展了模型的感受野并实现了显著的性能提升。然而，这种改进是有代价的，因为自注意力机制的二次复杂度增加了模型的计算负担。为了解决这个问题，我们引入了一种简单而有效的基线方法，称为Mamba YOLO。我们提出ODMamba主干网络引入具有线性复杂度的状态空间模型(SSM)来解决自注意力的二次复杂度问题。与其他基于Transformer和基于SSM的方法不同，]]></description><category></category></item><item><title><![CDATA[【论文阅读 | arXiv 2025 | WaveMamba：面向RGB-红外目标检测的小波驱动Mamba融合方法】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/150706742</link><guid>https://blog.youkuaiyun.com/berling00/article/details/150706742</guid><author>berling00</author><pubDate>Sun, 24 Aug 2025 19:02:00 +0800</pubDate><description><![CDATA[利用可见光（RGB）和红外（IR）图像的互补特性，对于提升目标检测性能具有显著潜力。本文提出WaveMamba，一种跨模态融合方法，它有效地整合了通过离散小波变换（DWT）分解出的RGB和IR独特且互补的频率特征。同时提出了一种融合逆离散小波变换（IDWT）的改进检测头，以减少信息损失并生成最终的检测结果。我们方法的核心是引入了WaveMamba融合块WMFB），它促进了跨低/高频子带的全面融合。在WMFB内部，基于Mamba框架构建的低频Mamba融合块LMFB。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | TCSVT 2025 | CFMW：面向恶劣天气下鲁棒目标检测的跨模态融合Mamba模型】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/150584247</link><guid>https://blog.youkuaiyun.com/berling00/article/details/150584247</guid><author>berling00</author><pubDate>Thu, 21 Aug 2025 19:28:41 +0800</pubDate><description><![CDATA[可见光-红外图像对提供了互补信息，增强了目标检测应用在真实场景中的可靠性和鲁棒性。然而，大多数现有方法在复杂天气条件下保持鲁棒性方面面临挑战，这限制了它们的适用性。同时，模态融合中对注意力机制的依赖引入了显著的计算复杂度和存储开销，尤其是在处理高分辨率图像时。为了应对这些挑战，我们提出了带有天气去除的跨模态融合 Mamba，以增强在恶劣天气条件下的稳定性和成本效益。利用提出的扰动自适应扩散模型）和跨模态融合 Mamba）模块，CFMW 能够重建受恶劣天气影响的视觉特征，丰富图像细节的表示。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | CVPR 2024 | UniRGB-IR：通过适配器调优实现可见光-红外语义任务的统一框架】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/150395604</link><guid>https://blog.youkuaiyun.com/berling00/article/details/150395604</guid><author>berling00</author><pubDate>Thu, 14 Aug 2025 18:05:21 +0800</pubDate><description><![CDATA[由于可见光(RGB)和红外(IR)图像在低光照和恶劣天气等挑战性条件下能提供更高的准确性和鲁棒性，对它们的语义分析已受到广泛关注。然而，由于缺乏在大规模红外图像数据集上预训练的基础模型，现有方法倾向于设计特定于任务的框架，并直接在它们的RGB-IR语义相关数据集上使用预训练的基础模型进行微调，这导致了可扩展性差和泛化能力有限的问题。为了克服这些限制，我们提出了UniRGB-IR。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | TIV 2024 | CDC-YOLOFusion：利用跨尺度动态卷积融合实现可见光-红外目标检测】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/149511277</link><guid>https://blog.youkuaiyun.com/berling00/article/details/149511277</guid><author>berling00</author><pubDate>Tue, 22 Jul 2025 17:59:31 +0800</pubDate><description><![CDATA[题目：CDC-YOLOFusion: Leveraging Cross-scale Dynamic Convolution Fusion for Visible-Infrared Object Detection期刊：IEEE Transactions on Intelligent Vehicles （TIV）论文：paper代码：code年份：2024由于能够深入挖掘可见光和红外特征，特征级融合方法在可见光 - 红外目标检测中表现出优异的性能。然而，大多数现有的特征级融合方法利用多个具有固定参数的卷积层来]]></description><category></category></item><item><title><![CDATA[【论文阅读 | IF 2025 | COMO：用于多模态目标检测的跨 Mamba 交互与偏移引导融合】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/149406207</link><guid>https://blog.youkuaiyun.com/berling00/article/details/149406207</guid><author>berling00</author><pubDate>Wed, 16 Jul 2025 20:13:44 +0800</pubDate><description><![CDATA[单模态目标检测任务在面对多样场景时往往会出现性能下降。相比之下，多模态目标检测任务通过融合不同模态的数据，能够提供更全面的目标特征信息。在本文中，我们提出了一种名为跨 Mamba 交互与偏移引导融合（COMO）的新框架，用于多模态目标检测任务。COMO 框架采用跨 Mamba 技术构建特征交互方程，实现多模态序列化状态计算。这在产生交互融合输出的同时，减少了计算开销并提高了效率。此外，COMO 利用受错位影响较小的高层特征，促进模态间的交互和互补信息传递。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | CVPR 2023 |CDDFuse：基于相关性驱动的双分支特征分解的多模态图像融合】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/149400449</link><guid>https://blog.youkuaiyun.com/berling00/article/details/149400449</guid><author>berling00</author><pubDate>Wed, 16 Jul 2025 17:15:38 +0800</pubDate><description><![CDATA[多模态图像融合旨在生成兼具不同模态优势的融合图像，例如功能性高亮信息和细节纹理。为解决跨模态特征建模以及分解理想的模态特异性特征和模态共享特征这一挑战，我们提出了一种新颖的相关性驱动特征分解融合（CDDFuse）网络。首先，CDDFuse采用Restormer 块提取跨模态浅层特征。随后，我们引入双分支 Transformer-CNN 特征提取器，其中轻量级 Transformer（LT）块利用长程注意力处理低频全局特征可逆神经网络（INN）块专注于提取高频局部信息。我们进一步提出一种相关性驱动损失。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | PR 2024 |ITFuse：一种用于红外与可见光图像融合的交互式 Transformer】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/149366601</link><guid>https://blog.youkuaiyun.com/berling00/article/details/149366601</guid><author>berling00</author><pubDate>Tue, 15 Jul 2025 21:05:55 +0800</pubDate><description><![CDATA[红外与可见光图像融合IVIF）因其在下游应用中令人满意的结果而受到学术界越来越多的关注。然而，大多数现有的深度融合模型要么是特征级融合，要么是图像级融合，导致信息丢失。在本文中，我们提出了一种用于 IVIF的交互式 Transformer，称为ITFuse。与以往算法不同，ITFuse 由特征交互模块FIMs）和特征重建模块FRM）组成，交替提取和整合重要特征。具体而言，为了充分利用不同源图像的共同属性，我们设计了残差注意力块RAB）用于 mutual 特征表示。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | TITS 2023 |FMPT : Multi-Modal Feature Pyramid Transformer for RGB-Infrared Object Detection】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/149051703</link><guid>https://blog.youkuaiyun.com/berling00/article/details/149051703</guid><author>berling00</author><pubDate>Tue, 01 Jul 2025 18:34:43 +0800</pubDate><description><![CDATA[RGB - 红外多模态目标检测利用多样化且互补的信息，在智能交通领域展现出一定优势。RGB - 红外目标检测的主要挑战在于如何融合这两种模态。模态间存在较大的视觉差异，难以学习到有效的互补特征；一些未对齐的 RGB - 红外图像增加了融合的难度。为此，基于目标检测中常用的特征金字塔，我们提出了多模态特征金字塔 Transformer（MFPT）来融合这两种模态。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | CVPR 2025 |MambaVision：一种混合 Mamba-Transformer 视觉骨干网络】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/148957060</link><guid>https://blog.youkuaiyun.com/berling00/article/details/148957060</guid><author>berling00</author><pubDate>Fri, 27 Jun 2025 17:57:17 +0800</pubDate><description><![CDATA[我们提出了一种新颖的混合 Mamba-Transformer 骨干网络 MambaVision，专为视觉应用量身设计。我们的核心贡献包括重新设计 Mamba 公式，以增强其对视觉特征的高效建模能力。通过全面的消融研究，我们证明了将视觉 Transformer（ViT）与 Mamba 集成的可行性。研究结果表明，在Mamba 架构的最后几层配备自注意力块，能显著提升其捕捉长距离空间依赖关系的能力。基于这些发现，我们推出了一系列 MambaVision 模型，它们采用层次化架构，可满足不同的设计需求。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | CVPRW 2023 |CSSA ：基于通道切换和空间注意力的多模态目标检测】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/148878348</link><guid>https://blog.youkuaiyun.com/berling00/article/details/148878348</guid><author>berling00</author><pubDate>Tue, 24 Jun 2025 20:34:31 +0800</pubDate><description><![CDATA[近年来，多模态目标检测备受关注，因为不同模态的特定信息可以相互补充，有效提高检测模型的准确性和稳定性。然而，与处理单模态输入相比，融合多模态信息会显著增加模型的计算复杂度，进而降低其效率。因此，多模态融合模块需要精心设计，以在保持低计算消耗的同时提升检测模型的性能。本文提出了一种新颖的轻量级融合模块（CSSA），该模块通过通道切换和空间注意力机制高效融合不同模态的输入。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | CVPR 2024 |Fusion-Mamba ：用于跨模态目标检测】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/148828950</link><guid>https://blog.youkuaiyun.com/berling00/article/details/148828950</guid><author>berling00</author><pubDate>Sun, 22 Jun 2025 20:59:21 +0800</pubDate><description><![CDATA[跨模态融合通过有效整合不同模态的互补信息，显著提升了目标检测性能，使其在更广泛的应用场景中更具实用性和鲁棒性。现有融合策略通常通过精心设计的神经网络模块来结合不同类型的图像或融合不同主干特征。然而，这些方法忽视了模态差异对跨模态融合性能的影响 —— 由于不同模态的相机焦距、位置和角度差异，其特征难以有效融合。本文中，基于改进的 Mamba 与门控机制，通过在隐藏状态空间中关联跨模态特征来研究跨模态融合。我们设计了Fusion-Mamba 模块FMB。]]></description><category></category></item><item><title><![CDATA[【论文阅读 | PR 2024 |ICAFusion：迭代交叉注意力引导的多光谱目标检测特征融合】]]></title><link>https://blog.youkuaiyun.com/berling00/article/details/148366843</link><guid>https://blog.youkuaiyun.com/berling00/article/details/148366843</guid><author>berling00</author><pubDate>Sun, 01 Jun 2025 16:03:59 +0800</pubDate><description><![CDATA[多光谱图像的有效特征融合在多光谱目标检测中起着至关重要的作用。以往研究表明，使用卷积神经网络进行特征融合是有效的，但由于其在局部范围特征交互方面的固有缺陷，这些方法对图像错位敏感，导致性能下降。为解决这一问题，本文提出了一种新型的双交叉注意力 Transformer 特征融合框架，用于建模全局特征交互并同时捕获跨模态的互补信息。该框架通过查询引导的交叉注意力机制增强目标特征的判别力，从而提升性能。然而，堆叠多个 Transformer 块进行特征增强会导致大量参数和高空间复杂度。]]></description><category></category></item></channel></rss>