多模太与交叉注意力应用

最新推荐文章于 2025-03-14 10:36:03 发布
最新推荐文章于 2025-03-14 10:36:03 发布
阅读量701 收藏 13
点赞数 13
文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_50917576/article/details/136607747
版权

要解决的问题

对同一特征点1从不同角度去拍，在我们拿到这些不同视觉的特征后，就可以知道如何从第一个位置到第二个位置，再到第三个位置

对于传统算法

下面很多点检测都是错

loftr当今解决办法

整体流程

具体步骤

卷积提取特征，一个点代表一个区域

使用transformer

粗粒度匹配

me:这里4800个点应该都是卷积后的点，即代表的是局部区域

细粒度匹配

机器学习之交叉注意力
JustinMars的博客
05-20 1393
交叉注意力（Cross-Attention）是一种注意力机制，用于处理两个不同序列之间的依赖关系。相比于自注意力（Self-Attention），交叉注意力在多模态任务（如图像和文本匹配）或序列到序列任务（如机器翻译）中应用广泛。下面是交叉注意力机制的详细介绍和一个实现示例。
大语言模型原理基础与前沿 视觉文本交叉注意力融合
AI天才研究院
06-07 909
1.背景介绍 在人工智能领域，大规模语言模型已经成为了一种重要的研究方向。从GPT-3到BERT，再到最近的视觉-文本交叉注意力融合模型CLIP，这些模型都在各自的任务中取得了显著的效果。本文将深入探讨大语言模型的原理，以及如何将视觉和文本信息进行交叉注意力融合，以期望给读者带来全新的研究视角和思考方向。 2
多模态中的交叉注意力Cross Attentionon
qq_34348690的博客
05-01 4618
CA作为多模态融合的一个重要组成部分，它通过注意力机制在不同模块之间建立联系，促进信息的交流和整合，从而提升了模型处理复杂任务的能力。
多模态交叉注意力机制中为什么K和V要来自同一模态
weixin_46635816的博客
03-14 430
在多模态的交叉注意力机制中，Query和Key、Value通常来自不同的模态，这正是交叉注意力的核心所在。
多模态情感分析——MVSA数据集
小嘤熊的博客
11-06 5180
删除 MVSA-Single 数据集中图片和文字标注情感的正负极性不同（存在positive和negative）的图文对，剩余的图文对中，如果图片或者文本的情感有一者为中性（neutral），则选择另一个积极或者消极的标签作为该图文对的情感标签，最终得到4511个图文对。采用投票机制，即统计情感极性标注出现次数最多的作为标签，如果出现两种标签各有三个的情况则进行删除，最终得到16779个图文对。，前者的每条图文对只有一个标注，后者的每条图文对由三个标注者给出。数据集包含 5,129 条图文对（
即插即用系列 | Meta 新作 MMViT: 基于交叉注意力机制的多尺度和多视角编码神经网络架构
专注计算机视觉全栈知识分享
06-04 2412
本文主要提出了一种新颖的多尺度及多视图视觉 Transformer 模型，作为适用于多种模态的主干网络。该模型将多个视图输入到多尺度阶段层次结构模型中，并结合了多尺度视觉 Transformer（MViT）和多视图 Transformer（MTV）的优点。在每个尺度阶段，使用交叉注意力层来合并不同分辨率的视图信息，从而使网络能够捕捉复杂的高维特征。实验结果表明，MMViT 模型有一定的性能提升。
把交叉注意力与多模态结合就发了A会！被惊艳到了！
2401_88190197的博客
11-20 700
太牛了！模型DF-TransFusion，，性能完美，分类准确性达100％！实际上，近来该方向已经狂揽了多篇A会，研究热度很高！这是因为，交叉注意力机制能在不同模态之间建立联系，促进信息的交流和整合。而多模态数据，则提供了丰富的信息来源，通过交叉注意力机制可以充分利用这些信息的互补性。从而提高模型的性能、降低计算成本！目标该方法在图像处理、时间序列分析、多模态情感分析等领域都取得了显著效果，且还在上升期，创新空间很大。为让大家能够找到更多灵感启发，早点发出自己的顶会，我给大家准备了。
故障诊断模型 | 基于交叉注意力融合时频特征的轴承故障诊断模型
算法如诗的博客
04-01 779
故障诊断模型 | 基于交叉注意力融合时频特征的轴承故障诊断模型
【AI知识点】交叉注意力机制（Cross-Attention Mechanism）
热门推荐
AI完全体
10-03 2万+
交叉注意力机制（Cross-Attention Mechanism） 是一种在深度学习中广泛使用的技术，尤其在序列到序列（sequence-to-sequence）模型和Transformer 模型中被大量应用。它主要用于不同输入之间的信息交互，使模型能够有效地将来自不同来源的上下文进行对齐和关注，从而帮助模型更好地捕捉两个输入之间的相关性。
暴力涨点！交叉注意力+特征融合，为何频登顶会？
2401_88556812的博客
11-22 2949
交叉注意力机制允许模型在一个模态的特征上关注另一个模态的特征，从而实现不同模态之间的信息交互。提出了一种新颖的交叉注意力机制，不仅能够利用每种模态内部的内模态关系，还能够利用图像区域和句子单词之间的外模态关系，以互补和增强图像和句子匹配。提出了一种新颖的交叉注意力模块，能够不仅利用每种模态内部的内模态关系，还能够利用图像区域和句子单词之间的外模态关系，以互补和增强图像和句子匹配。提出了一种新颖的多模态交叉注意力网络，通过在统一的深度模型中联合建模图像区域和句子单词的内模态和外模态关系，用于图像和句子匹配。
Unet 改进添加双交叉注意力模块（DCA）
02-04
在这些领域中，准确的图像分割是提高自动化处理能力的关键，而双交叉注意力模块的引入无疑为这些应用提供了更为强大的技术支持。 双交叉注意力模块的引入为U-Net模型带来了性能上的显著提升，特别是在图像分割的...
（2024，多模态提示，扩展注意力，分离的交叉注意力）CreativeSynth：基于多模态扩散的视觉艺术创意融合与合成
qq_44681809的博客
01-28 996
本文提出 CreativeSynth，通过结合多模态特征和定制的注意机制，将现实世界的语义内容通过反演和实时风格迁移引入艺术领域，从而精确操纵艺术图像的风格和内容。
【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper+代码——交叉注意力（Cross-Attention）
985小水博的摸鱼日常
10-25 4051
【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper+代码——交叉注意力（Cross-Attention）
中科大&快手提出多模态交叉注意力模型：MMCA，促进图像-文本多模态匹配！
我爱计算机视觉
12-24 7249
关注公众号，发现CV技术之美本文分享论文『Multi-Modality Cross Attention Network for Image and Sentence Matching』，由...
论文浅尝 - EMNLP2020 | 跨媒体关键词预测: 多模态多头注意力和图像文本的统一框架...
开放知识图谱
12-25 1062
论文笔记整理：柏超宇，东南大学硕士。文章链接：https://arxiv.org/pdf/2011.01565.pdf来源：EMNLP 2020动机社交媒体每天都会产生大量的内容。为了帮...
MIA-Net: Multi-Modal Interactive Attention Network for Multi-Modal Affective Analysis
自己在学习过程中的总结
12-10 1581
总括：多模态融合时，首先将多种模态分为主模态与辅助模态，通过构建了一个交互注意力模块，从辅助模态中提取对主模态有帮助的信息进行融合。（属于特征级基于注意力的融合方式）
MMAF-Net： 基于多模态注意机制的RGB-Depth融合的语义分割模型
莫大逗比嘟嘟
04-20 4332
一、Title Multi-Modal Attention-based Fusion Model for Semantic Segmentation of RGB-Depth Images 二、arXiv arXiv 三、Background 基于注意力机制的融合模块受注意力机制的启发，该网络注重于feature maps的channel-wise recalibration，对通道的dependency进行建模。从两个编码器的RGB和深度通道提取的中间特征图作为基于注意力机制的融合...
用于多模态注意力学习的超图注意力网络（2020 CVPR）
weixin_45339060的博客
07-27 3320
重新强调了存在的问题来自不同模态的特征向量被视为了同一个level上的上的抽象信息，即使这些特征向量是从不同的预处理步骤中获得的。如何对齐异构模态的信息？为了解决这个问题，本文建议使用符号图作为多模态学习的常见语义表示。我们将符号图定义为包含节点和边的有向图，节点表示具有文本形式的语义单元，边表示它们之间的关系。例如，场景图可以用作图像模态的符号图，也可以用作文本模态的自然句子中的依存树。通过从每个低层输入中提取符号图，我们可以比较同一抽象层中模态之间的语义。定性分析后的发现。...
【CAVW】SCANET： 用稀疏和交叉注意力改进多模态表示和融合，用于多模态情感分析——CCF C
ECNU乐扣老师——区块链、可计算情感
05-05 827
学习单模态表征和改善多模态融合是多模态情感分析（MSA）的两个核心。然而，以前的方法忽略了不同模态之间的信息差异： 文本模态比其他模态具有高阶语义特征。在这篇文章中，我们提出了一个稀疏和交叉注意力（SCANET）框架，它具有不对称的结构，以提高多模态表示和融合的性能。
交叉注意力机制应用
最新发布
03-18
### 交叉注意力机制的应用场景 交叉注意力机制是一种广泛应用于深度学习模型的技术，尤其在涉及多模态数据处理的任务中表现突出。其核心在于通过两个不同的输入序列之间的交互来捕捉更丰富的特征关系[^1]。 常见的应用场景包括但不限于以下几个方面： - **机器翻译**：在神经网络机器翻译模型中，源语言和目标语言的编码器-解码器结构通常会利用交叉注意力机制，使得解码器能够关注到源语言中最相关的部分[^2]。 - **图像描述生成 (Image Captioning)**：该任务需要结合视觉信息（如图片特征）与自然语言处理技术生成描述性的文字。交叉注意力可以有效连接图像区域特征与对应的词向量表示，从而提升生成质量。 - **推荐系统中的点击率预测**：谷歌的研究表明，在广告或商品推荐系统的CTR预估过程中引入交叉位置注意力机制可以帮助缓解因展示顺序等因素引起的位置偏差问题[^3]。 --- ### 代码实现方法 以下是基于 PyTorch 的简单交叉注意力模块实现示例： ```python import torch import torch.nn as nn import math class CrossAttention(nn.Module): def __init__(self, dim_model, num_heads=8, dropout_rate=0.1): super(CrossAttention, self).__init__() assert dim_model % num_heads == 0 self.num_heads = num_heads self.dim_head = dim_model // num_heads self.scale_factor = 1 / math.sqrt(self.dim_head) self.W_q = nn.Linear(dim_model, dim_model) self.W_k = nn.Linear(dim_model, dim_model) self.W_v = nn.Linear(dim_model, dim_model) self.fc_out = nn.Linear(dim_model, dim_model) self.dropout = nn.Dropout(dropout_rate) def forward(self, query, key_value_input): batch_size = query.size(0) Q = self.W_q(query).view(batch_size, -1, self.num_heads, self.dim_head).transpose(1, 2) # [B, h, Lq, d] K = self.W_k(key_value_input).view(batch_size, -1, self.num_heads, self.dim_head).transpose(1, 2) # [B, h, Lv, d] V = self.W_v(key_value_input).view(batch_size, -1, self.num_heads, self.dim_head).transpose(1, 2) # [B, h, Lv, d] attention_scores = torch.matmul(Q, K.transpose(-2, -1)) * self.scale_factor # [B, h, Lq, Lv] attention_probs = torch.softmax(attention_scores, dim=-1) # [B, h, Lq, Lv] attention_probs = self.dropout(attention_probs) context_vector = torch.matmul(attention_probs, V) # [B, h, Lq, d] context_vector = context_vector.transpose(1, 2).contiguous().view(batch_size, -1, self.num_heads * self.dim_head) # [B, Lq, D] output = self.fc_out(context_vector) # [B, Lq, D] return output ``` 上述代码定义了一个标准的交叉注意力层，其中 `query` 和 `key_value_input` 是来自不同序列的数据流。具体操作流程如下： - 首先分别计算 Query、Key 和 Value 向量； - 接着通过缩放点积注意力建立关联矩阵并得到权重分布； - 最终加权求和获得上下文向量作为输出结果。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

十有久诚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值