image-text matching(五)Adaptive Cross-modal Embeddings for Image-Text Alignment

ADAPT：自适应跨模态嵌入图像-文本匹配
最新推荐文章于 2024-09-30 18:14:32 发布
原创 最新推荐文章于 2024-09-30 18:14:32 发布 · 618 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

ADAPT是一个图文匹配模型，通过利用不同模态的实例调整中间表示，增强重要信息并聚焦关键细节。该模型采用对称流程，如T2I，先进行模态增强，再通过self-attention得到增强视觉特征，进而计算与文本的相似度。实验结果显示，ADAPT在图像-文本对齐中表现出有效性，并且其引入的中央凹模块提高了效率。

背景

本文提出的图文匹配模型名为ADAPT。ADAPT被设计用来：利用B模态的实例来调整A模态的实例的中间表示。这种自适应的调整能够过滤和增强模态间的重要信息，增强模型对重要的图/文细节的关注，从而引导向量表示的生成。（个人理解，本篇文章的创新点，设计了一种自适应的GA方式）

方法

在这里插入图片描述
整个流程是对称的，这里以T2I为例，最终得到的是带有文本注意的视觉特征表示。执行步骤，可以简单理解为先做一个GA，再做一个SA。在处理视觉模态时，文本模态的特征表示ccc投影得到两个指示向量γc\gamma_c

最低0.47元/天 解锁文章
[AAAI 2020]Adaptive Cross-modal Embeddings for Image-Text Alignment阅读
yimeixiaobai_的博客
03-17 1628
文章地址：link 在本文中，我们介绍了一种新的训练图像-文本对齐模型的方法，即ADAPT。Imagetext对齐方法通常用于跨模式检索，即，用于检索给定查询文本的图像或成功标记图像的标题。设计适应调整实例的中间表示形式从形态使用嵌入向量b模式的一个实例。这种适应是为了过滤和加强重要信息在内部特性,允许引导向量表示——这就像关注模块的工作,虽然计算有效得多。在两个大型的ImageText比对数据集...
CAMP: Cross-Modal Adaptive Message Passing for Text-Image Retrieval ICCV-2019 20200925
weixin_45065738的博客
09-25 1499
CAMP: Cross-Modal Adaptive Message Passing for Text-Image Retrieval ICCV-2019 20200925 摘要 人在进行图文检索的过程，交替注意图像中的区域和句子中的单词，并考虑两种形式之间的相互作用来选择最显著的信息。 之前： 将图像和文本独立的嵌入空间中计算两者的相似性，没有探索图像和文本之间的交互。 本文： 1.提出了CAMP，能够自适应地控制跨模态消息传递的信息流。（我的理解是促进正对传递，抑制负对传递） 2.不仅采用综
Adaptive Cross-modal Embeddings for Image-Text Alignment论文笔记
weixin_42863990的博客
09-09 318
Adaptive Cross-modal Embeddings for Image-Text Alignment 该论文提到cross model retrieval中一般使用三个类型的方法： 使用特征提取方法提取不同模态的高维特征并将其嵌入到相同的隐空间中，然后通过距离排名，计算嵌入到隐空间后的不同模态的数据的距离，将排名在前@N的结果作为匹配对象。 使用注意力机制获取不同模态的数据的细粒度对齐，然后计算每个区域的相似度，并将结果进行排名，返回前N个结果作为匹配对象。 使用一个统一的模型输入不同模态的数
【CAMP论文笔记】CAMP: Cross-Modal Adaptive Message Passing for Text-Image Retrieval
静如脱兔(⋌▀¯▀)=☞动如脱兔的博客
10-18 1050
CAMP: Cross-Modal Adaptive Message Passing for Text-Image Retrieval 着重于细粒度的跨模态信息交互融合，并且自适应地控制信息融合的程度，在MSCOCO和Flickr30k数据集上效果显著
Image-Text Matching and VQA
人生而孤独，却不甘寂寞。
02-08 4703
Attention! 我的Dr.Sure项目正式上线了，主旨在分享学习Tensorflow以及DeepLearning中的一些想法。期间随时更新我的论文心得以及想法。 Github地址：https://github.com/wangqingbaidu/Dr.Sure 优快云地址：http://blog.youkuaiyun.com/wangqingbaidu 个人博客地址：http://www.wa...
论文解读：《LAMM: Label Alignment for Multi-Modal Prompt Learning》
buyaotutou的博客
09-05 1313
近年来，随着视觉-语言（VL）预训练模型的成功，特别是在视觉表示任务中的应用，如CLIP，基于预训练模型的迁移学习已成为处理下游任务的关键范式。被训练用来完成多个不同任务时，它们往往就会在学习新任务时把之前学习过的任务彻底遗忘，由于神经网络与大脑类似，其内部的运作规律人类暂时还不能完全理解，可以说是一个黑盒子，在这种情况下，人工智能突然忘记长时间高成本已经完成的训练任务，就是项目的灾难，所以才有了灾难性遗忘的名字。据论文作者所知，可训练类别标记的概念是在预训练的VL模型中首次提出的。
【论文阅读】Semantic Prompt for Few-Shot Image Recognition（已复现）
cainiaomyf的博客
09-30 2723
小样本学习是一个具有挑战性的问题，因为只提供了少量样本来识别新的类别。最近的一些研究利用了额外的语义信息，例如类别名称的文本嵌入，通过将语义原型与视觉原型相结合来解决稀缺样本的问题。然而，这些方法仍然受到从稀缺支持样本中学习到的虚假视觉特征的影响，导致收益有限。在本文中，我们提出了一种用于小样本学习的新颖语义提示（Semantic Prompt，SP）方法。我们并非简单地利用语义信息来修正分类器，而是探索将语义信息作为提示来自适应地调整视觉特征提取网络。
CCF A类会议或期刊----近两年聚类相关论文
Thincor的博客
03-21 6600
会议/期刊 论文 sigmod2021 Fast Density-Peaks Clustering: Multicore-based Parallelization Approach. sigmod2021 SharPer: Sharding Permissioned Blockchains Over Network Clusters. sigmod2021 Dynamic Structural Clustering on Graphs. sigmod2021 On Saving....
【CVPR2019】完整论文列表二
TomRen
06-11 8300
CVPR 2019 Paper list[1001-1294] CVPR2019 完整列表一 论文题目与链接 Semantic Component Decomposition for Face Attribute Manipulation R3 Adversarial Network for Cross Model Face Recognition Disentan...
Graph Structured Network for Image-Text Matching
qq_39400568的博客
12-12 648
Graph Structured Network for Image-Text Matching 1 Introduction 图像文本匹配往往只是学习了图像文本对中具有较为粗糙的一致性的内容而忽视了细粒度的细节。本文提出的GSMN网络结构基于节点级别的匹配能够通过融合邻居节点的关联来推到细粒度的一致性。实验显示本方法在Flickr30K和MSCOCO上的Recall@1提升了分别7%和2%。 2 Method 如上图所示，先提取image和text的特征，然后构建visual和textual图，随后学
【Image Text Matching】Learning Semantic Concepts and Order for Image and Sentence Matching
Vincy_King
11-16 1483
图像和句子匹配近年来取得了很大的进展，但由于视觉语义差异较大，仍然具有挑战性。这主要是由于像素级图像的表示通常缺乏其匹配句子中的高级语义信息。本文提出了一种语义增强的图像和句子匹配模型，该模型可以通过学习语义概念，然后按照正确的语义顺序组织它们来改进图像的表示。给定一个图像，本文首先使用多区域多标签CNN来预测其语义概念semantic concept，包括对象、属性、动作等。然后，考虑到不同的语义概念顺序导致不同的语义意义，使用上下文门控句子生成方案进行语义顺序学习。
图网络：Graph Structured Network for Image-Text Matching
weixin_43436958的博客
10-29 3499
用于图文匹配的图结构网络 摘要   由于图像-文本匹配连接了视觉和语言，因此它受到了越来越多的关注。关键的挑战在于如何学习图像和文本之间的对应关系。现有的工作基于对象共现统计学习粗对应，而没有学习细粒度的短语对应。在本文中，我们提出了一种新颖的图结构匹配网络（GSMN），以学习细粒度的对应关系。GSMN将对象、关系和属性明确地建模为一个结构化短语，不仅可以分别学习对象、关系和属性的对应关系，而且有利于学习结构化短语的细粒度对应关系。这是通过节点级匹配和结构级匹配实现的。节点级匹配将每个节点与其来自另一种模式
image-text matching(六)Visual Semantic Reasoning for Image-Text Matching
csdn_tclz的博客
11-22 1014
背景 这篇论文是美国东北大学的工作，接收于ICCV2019 动机 图文匹配任务的challenge在于，当前的图像表示通常缺乏全局语义概念(?)。作者提出模型VSRN，包含一个推理模块来生成视觉特征表示。具体地，第一步先构建图像regions之间的关系矩阵，在其上使用GCN来捕捉带有语义联系的visual features；接下来，利用得到的relationship enhanced features，输入到GRU中执行全局推理。 模型结构 方法 Region Relationship Reasoning
image-text matching(三)Position Focused Attention Network for Image-Text Matching
csdn_tclz的博客
11-22 1182
背景 本篇论文的工作来自西安交通大学、腾讯AI lab，接收于IJCAI2019 动机 前人的方法忽略了图像中的相对位置信息。一般来说，目标区域越靠近中心，就越有可能表达出图像的主要语义，而边缘区域则没有那么重要。(个人理解，本文的创新点在于把区域的位置信息进行编码，加入到图文匹配任务中) 如此一来，一个直观且简单的做法是，对于靠近图像中心的区域赋予其更多的注意力。然而，并不是所有靠近中心的区域都那么重要，如图1(b)所示，woman(最重要的区域)位于左下角。因此，简单地根据固定位置(例如中心)将注意力分
Similarity Reasoning and Filtration for Image-Text Matching
qq_44761480的博客
03-26 1894
2021-4-Similarity Reasoning and Filtration for Image-Text Matching 图推理，self-attention 文本到图像的合成：AttnGAN: Fine-Grained Text to Image Generation With Attentional Generative Adversarial Net works Abstract 图像文本匹配在连接视觉和语言方面起着至关重要的作用，通过利用图像和句子之间的全局对齐，或区域和单词之间
CVPR2020 文本图像处理方向论文总结（Image-Text Matching）
qq_43680727的博客
11-22 4999
最近阅读了CVPR2020关于image-text matching的三篇文章，前两篇都是对文本图像匹配任务的改进，第三篇则是将文本图像匹配模型用于文本描述任务中。这里，我对三篇文章的主要内容进行一个梳理总结。 备注：由于本人也是第一次接触这个方向，很多术语可能翻译不正确，文章内容理解不正确，内容仅供参考。 1.GSMN Graph Structured Network for Image-Text Matching 解决问题： 现有的多对多匹配方案，大多忽视了元素属性、同一模态中不同元素间关联，而仅仅学习
caption重要性 image_2019 年，借 VQA 来聊聊 Image-text matching
weixin_34541572的博客
12-05 540
做 "image-text matching" 这个 topic 有大半年的时间了，从 CVPR2020 鸽到 IJCAI2020，code 写了不少，实验也做了不少，但是最后还是没能做出来，接下来要去 MSRA 实习一段时间，不知道又要鸽到什么时候了。在实验后期卡住的时候，我看到了一些新颖的 VQA 的工作，感觉蛮有意思。本篇文章主要结合这些 VQA 模型和我的实验结果，写一写我对 image-...
Stacked Cross Attention for Image-Text Matching (EECV 2018)笔记
weixin_45065738的博客
08-21 917
Stacked Cross Attention for Image-Text Matching (EECV 2018) 碎碎念 本文使用了传统的注意力机制学习关注给定语义上下文的图像区域。文章的最终目标是将单词和图像区域映射到一个共同的嵌入空间，以推断整个图像和完整句子之间的相似性。 重点是如何应用Stacked Cross Attention对齐图像区域和单词特征。 正文 文章分为图像-文本匹配和文本图像匹配，之所以不同是因为文章的题目，堆叠交叉注意。。哈哈哈 之所以不同，要从模型的思想说起。 要找到
image-text matching(二)Expressing Objects just like words: Recurrent Visual Embedding for ITM
csdn_tclz的博客
11-22 568
打发打发
A Mutually Textual and Visual RefinementNetwork for Image-Text Matching
最新发布
08-22
3. **"Stacked Cross Attention for Image-Text Matching"** 提出了一种堆叠式交叉注意力机制，通过多层注意力模块逐步优化图像与文本之间的匹配。 4. **"Hierarchical Transformers for Multi-Modal Sequential ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值