Text-image 论文分享

本文分享了2019年发表在arXiv上的一篇关于利用姿态信息和注意力机制进行基于文本的人物检索的论文。作者提出了一种包含全局、单个局部和双重局部匹配的网络模型,以解决跨模态匹配中的关键问题,即如何提取与语言描述相关的视觉内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Text-image retrieval 论文分享
论文链接
[1]Pose-Guided Joint Global and Attentive Local Matching Network for Text-Based Person Search
Task:这篇文章是放在2019arXiv上的,主要讲的是利用姿态信息和注意力机制来解决基于文本的人物检索的问题。
Motivation: 作者认为提取与语言描述相关的视觉内容是解决这个跨模态匹配的关键;相关图像和语言描述会涉及不同层次的语义相关性。
因此,为了利用人物描述和相对应的视觉内容多层次的相关性,作者提出GALM(Pose-guide global and attentive local matching network)。包括三部分:全局,单个局部,双重局部

Difficulties::
1、全局表征不能有效提取到图片中与人物相关的视觉内容。(利用pose information)
2、全局特征是一个粗糙的表征,只有局部的image region才与给定的文本描述有关(利用hard attention)
3、除了句子级别的关联,词组级别的关联对image-text matching 同样重要
(利用Pose-guide the aligned part matching)

模型结构

这篇文章的公式比较多,因为用到三个分支计算损失函数,但静下心来看的话还是能够看的懂得,没有特别难的地方。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值