Text-image 论文分享

本文分享了2019年发表在arXiv上的一篇关于利用姿态信息和注意力机制进行基于文本的人物检索的论文。作者提出了一种包含全局、单个局部和双重局部匹配的网络模型,以解决跨模态匹配中的关键问题,即如何提取与语言描述相关的视觉内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Text-image retrieval 论文分享
论文链接
[1]Pose-Guided Joint Global and Attentive Local Matching Network for Text-Based Person Search
Task:这篇文章是放在2019arXiv上的,主要讲的是利用姿态信息和注意力机制来解决基于文本的人物检索的问题。
Motivation: 作者认为提取与语言描述相关的视觉内容是解决这个跨模态匹配的关键;相关图像和语言描述会涉及不同层次的语义相关性。
因此,为了利用人物描述和相对应的视觉内容多层次的相关性,作者提出GALM(Pose-guide global and attentive local matching network)。包括三部分:全局,单个局部,双重局部

Difficulties::
1、全局表征不能有效提取到图片中与人物相关的视觉内容。(利用pose information)
2、全局特征是一个粗糙的表征,只有局部的image region才与给定的文本描述有关(利用hard attention)
3、除了句子级别的关联,词组级别的关联对image-text matching 同样重要
(利用Pose-guide the aligned part matching)

模型结构

这篇文章的公式比较多,因为用到三个分支计算损失函数,但静下心来看的话还是能够看的懂得,没有特别难的地方。

### 关于Contrastive Language-Image Pre-training (CLIP) 的论文下载与阅读 #### CLIP的核心概念 CLIP(Contrastive Language-Image Pre-training)是一种基于对比学习的多模态模型,其主要目标是通过大量的文本-图像对来训练一个能够理解视觉和语言之间关系的通用表示[^3]。该模型利用对比学习的优势,在预训练过程中无需精确预测某个特定的文本描述,而是专注于判断哪些文本更可能与给定的图像相关联[^5]。 #### 论文获取途径 CLIP的相关研究由OpenAI团队完成,原始论文名为《Learning Transferable Visual Models From Natural Language Supervision》。可以通过以下几种方式进行下载: 1. **官方链接**: OpenAI通常会公开发布其研究成果,可以直接访问OpenAI官网并搜索“CLIP”或“Learning Transferable Visual Models From Natural Language Supervision”,找到PDF版本进行下载。 2. **学术资源平台**: 使用Google Scholar或其他学术搜索引擎输入关键词“Contrastive Language-Image Pre-training”或“CLIP paper”。这些平台上可能会提供免费的PDF下载选项。 3. **第三方存储库**: 如果无法直接从官方网站获得,则可以尝试在arXiv上查找是否有上传的版本。大多数机器学习领域的最新进展都会第一时间发布在此处。 #### 阅读建议 为了更好地理解和吸收CLIP的内容,推荐按照如下结构展开阅读: - **摘要部分**:快速了解整个工作的背景意义以及取得的主要成果。 - **方法论章节**:重点掌握如何构建损失函数实现对比学习机制;具体到正样本负样例的选择策略等方面[^4]。 - **实验分析**:注意作者是如何验证零样本迁移能力的有效性的,并且观察跨多种下游任务的表现情况。 以下是Python代码片段用于加载已发布的CLIP模型作为示例: ```python import clip import torch device = "cuda" if torch.cuda.is_available() else "cpu" model, preprocess = clip.load("ViT-B/32", device=device) image = preprocess(Image.open("example_image.jpg")).unsqueeze(0).to(device) text = clip.tokenize(["a diagram", "a dog", "a cat"]).to(device) with torch.no_grad(): image_features = model.encode_image(image) text_features = model.encode_text(text) logits_per_image, logits_per_text = model(image, text) probs = logits_per_image.softmax(dim=-1).cpu().numpy() print(f"Label probs: {probs}") ```
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值