暴力涨点！交叉注意力+特征融合，CVPR秒了！

今天给大家推荐一个能暴力涨点，轻松发顶会的idea：交叉注意力+特征融合！

近来其更是取得了新突破！模型MAC在医学图像任务中，性能高达99.49％，登顶MICCA24；模型DynStatF则在自动驾驶任务中，实现了前所未有的性能提升，飞上CVPR……

这主要得益于：两者结合时，它们的优势得到了进一步的放大。交叉注意力能为特征融合提供高质量的特征交互信息；而特征融合则进一步整合了这些交互信息，形成了更加全面和准确的数据表征，为模型的决策提供了有力的支持。

为方便大家研究方法进行，早点发出自己的论文，我给大家准备了8种创新思路和源码，一起来看！

论文原文+开源代码需要的同学看文末

论文：CrossFuse: A Novel Cross Attention Mechanism based Infrared and Visible Image Fusion Approach

内容

该论文提出了一种名为CrossFuse的新型交叉注意力机制，用于红外和可见光图像的融合。该方法通过两阶段训练策略，首先训练两个自编码器网络来提取每种模态的特征，然后在固定编码器的基础上训练交叉注意力机制和解码器，该方法在融合性能上优于现有的融合网络，能够有效增强互补信息并减少冗余特征。

论文：A Depression Detection Method Based on Multi-Modal Feature Fusion Using Cross-Attention

内容

该论文介绍了一种基于多模态特征融合和交叉注意力机制的抑郁症检测方法，通过使用MacBERT作为预训练模型来提取文本中的词汇特征，并结合额外的Transformer模块来细化特定任务的上下文理解，该方法能够显著提高抑郁症检测的准确性，并更全面、精确地分析用户情绪和行为。

论文：Rethinking Cross-Attention for Infrared and Visible Image Fusion

内容

该论文提出了一种名为ATFuse的新型红外和可见光图像融合网络，通过改进交叉注意力机制，引入了差异信息注入模块（DIIM）和交替公共信息注入模块（ACIIM），以增强源图像的差异信息和公共信息的提取，还提出了一种分段像素损失函数，用于训练网络，以达到在融合结果中保留纹理细节和亮度信息之间的良好平衡。

论文：AdaFuse: Adaptive Medical Image Fusion Based on Spatial-Frequential Cross Attention

内容

该论文提出了一个名为AdaFuse的自适应医学图像融合网络，该网络基于空间-频域交叉注意力机制，通过结合傅里叶变换提取的频域特征和交叉注意力模块在空间域和频域中分别融合多模态特征，以保留多模态图像的高低频信息，并设计了一种新损失函数来保留更多互补信息。

 关注下方《AI科研圈圈》

回复“交叉特征”获取全部论文+开源代码

码字不易，欢迎大家点赞评论收藏