跨模态检索之文本视频检索（Text to Clip）（2）

最新推荐文章于 2025-04-08 11:06:53 发布
最新推荐文章于 2025-04-08 11:06:53 发布
阅读量1.6k 收藏 5
点赞数 1
分类专栏： 文献阅读 文章标签： 机器学习 人工智能 深度学习 计算机视觉 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44390691/article/details/105182412
版权

《Cross-Modal and Hierarchical Modeling of Video and Text》（2018 ECCV）

这篇文章主要介绍了一个叫做分层序列嵌入（Hierarchical Sequence Embedding, HSE）的通用模型，其作用是对不同模态的数据进行分层建模并利用模态间的对应关系来学习模型参数。文章以文本和视频之间的检索为例进行介绍，并在大型数据集上做了实验。

HSE是在已有的FSE（Flat Sequence Embedding）的基础上改进后的模型。FSE的模型如下：
在这里插入图片描述
FSE是一种原始的seq2seq方法，它不考虑视频或文本中的层次结构，因此称为平面序列嵌入。如下式所示。
在这里插入图片描述
然后得到相似度：
在这里插入图片描述
但是FSE的一个明显的缺陷在于其LSTM层需要大量的单元才能很好地对视频帧或者单词进行建模，因此优化和学习都会比较困难。而HSE在FSE的基础上添加了一些组件，从而可以从多个粒度来考虑视频和文本之间的对应关系，较好地利用数据中的层次结构来减

最低0.47元/天 解锁文章
跨模态检索之文本视频检索（Text to Clip）
weixin_44390691的博客
03-29 2975
《Multilevel Language and Vision Integration for Text-to-Clip Retrieval》（2018 CVPR） 这篇文章引入了一个多层的模型，输入一个描述某个动作的查询语句，就可以从一段没有经过修剪的视频中找出对应的片段。 首先是第一个阶段，在temporal segment proposal阶段注入文本特征。该步骤通过SPN（Segment ...
聚焦视频文本检索：一文概览视频文本检索任务最新研究进展
Paper weekly
01-05 4984
©PaperWeekly 原创 · 作者 | 小马单位 | FightingCV公众号运营者研究方向 | 计算机视觉写在前面近几年，随着抖音、快手等短视频平台，以及哔哩哔哩、优酷等视频平台...
视频文本检索论文笔记（二）：Dual Encoding for Video Retrieval by Text
csdnzzkk的博客
04-02 2108
Dual Encoding for Video Retrieval by Text 双编码的文本视频检索 16页 （初版是2019CVPR，这是后续的改进）                              
一文搞懂多模态检索和跨模态检索
最新发布
m0_59164304的博客
04-08 883
多模态检索（Multi-Modal Retrieval）强调*多源信息整合，**利用文本、图像、音频、视频等多种模态数据**进行**信息整合与检索**。其目标是**通过不同模态数据的互补性，提供更全面、精确的搜索结果**。例如，当用户输入“落霞与孤鹜齐飞，秋水共长天一色”这样的诗句时，系统能够返回相关的图片、视频片段和音频解说。***相比之下，跨模态检索（Cross-Modal Retrieval）则更加专注于跨模态的语义关联，使用某一模态的信息查询检索另一模态的结果。例如，用文本搜索图片**（文搜图）、用
CLIP2TV：用CLIP和动量蒸馏来做视频文本检索！腾讯提出CLIP2TV，性能SOTA，涨点4.1%！...
我爱计算机视觉
11-26 1272
关注公众号，发现CV技术之美▊写在前面现代视频文本检索框架主要由视频编码器 、文本编码器 和相似度head 三个部分组成。随着视觉表示学习和文本表示学习的成功，基于Transformer...
极智项目 | 实战多模态文本-视频检索
极智视界
03-22 781
大家好，我是极智视界，本文介绍 实战多模态视频检索，并提供完整项目工程源码。
跨模态检索之文本视频检索（Text to Clip）（3）
weixin_44390691的博客
12-31 1331
《Learning Joint Embedding with Multimodal Cues for Cross-Modal Video-Text Retrieval》（2018 ACM） 在这篇文章之前，最优的跨模态视频文本检索方法是将多个视频帧进行合并，求均值，然后作为图像特征输入到图文检索框架中，从而取得最佳检索结果。 但是，作者认为这样是不够的，因为这类方法没有充分地利用视频中的信息，例如时间信息、动作信息、声音信息等等。这在一定程度上限制了视频文本检索的鲁棒性。因此，作者想要将更多的视频特征用在检
基于 CLIP 模型的图像文本跨模态检索
02-21
关键词包括：跨模态信息检索、Vision Transformer、Text Transformer、CLIP、图像检索、文本检索。通过本文的研究，不仅在理论上提出了新的跨模态检索框架和方法，而且在实践中也显著提升了图像与文本之间的检索效率...
跨模态检索2023年最新顶会论文汇总
zag666的博客
06-22 4466
我们的实验验证了我们的检索增强对比性（RECO）训练在几个具有挑战性的细粒度任务上大幅提高了CLIP的性能：例如，在斯坦福Cars上+10.9，在CUB-2011上+10.2，在最近的OVEN基准上+7.3。在本文中，我们提出了一种新的图像文本检索技术，被称为鲁棒的视觉语义嵌入（RVSE），它由新的基于图像和文本的增强技术组成，称为图像语义保护增强（SPAugI）和文本增强（SPAugT）。在全局和局部跨模态混合相似性的基础上，所提出的方法实现了最先进的检索性能，与最近的代表性方法相比，推理时间极短。
视频文本检索论文笔记（一）：Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning
csdnzzkk的博客
04-02 1120
Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning —2022CVPR
从文本到视频，淘宝视频的跨模态检索
我爱计算机视觉
08-14 1270
关注公众号，发现CV技术之美本文转载自淘系技术。背景近年来短视频应用大火，视频媒体逐渐成为用户消费的主要内容载体之一，对视频内容的精准检索成为重要的技术需求。自然文本描述和视频进行跨模态检...
awesome-video-text-retrieval:精选的用于视频文本检索的深度学习资源列表
05-03
深度学习很棒的视频文本检索 精选的用于视频文本检索的深度学习资源列表。 贡献 请随时添加文件的。 降价格式： - `[Author Journal/Booktitle Year]` Title. Journal/Booktitle, Year. [[paper]](link) [[code]](link) [[homepage]](link) 目录 - - - - 临时视频搜索 其他相关 数据集 实作 火炬 hybrid_space dual_encoding w2vvpp 嵌入式专家混合 howto100米 合作的 hgr 笨人 毫米 卡伯特 TensorFlow jsfusion 其他 w2vv （ Keras ） 有用的工具包 通过MXNet从视频帧中提取CNN功能 文件 2021年 [Dong et al. TPAMI21] [Dong et al.
Awesome-Video-Datasets:视频数据集
08-04
Awesome-Video-Datasets 非常欢迎贡献，如果您有任何建议或改进，请创建问题或提出拉取请求。 我们的小组网站：阿姆斯特丹大学。 内容 重复计数 视听学习 视频索引 技能决定 视频检索 单个对象跟踪 多个对象跟踪 视频关系检测 异常检测 视频记忆力 高光检测 视频摘要 姿态估计 动物行为 人员重新识别 动态纹理分类 多模态学习 物理
探索视频文本检索新境界：CLIP4Clip
gitblog_00686的博客
08-15 1166
探索视频文本检索新境界：CLIP4Clip CLIP4ClipAn official implementation for "CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval"项目地址:https://gitcode.com/gh_mirrors/cl/CLIP4Clip CLIP4Clip是一个基...
视频文本检索之CLIP4Clip
年轻即出发，
05-09 2180
通过分析发现预训练模型clip是基于2D线性投影训练的，却作为3D线性投影的初始化参数，这导致模型没有学习视频帧间的时序特征。模型为12层，宽度为512，包含8个注意力头。将文本特征W和视频特征Z拼接起来，得到拼接后的特征U，并将U和位置编码P，类型编码T进行拼接，输入Transformer进行编码，然后使用2个全连接层做特征投影，得到最终的输出。根据文本到视频检索中的相似性得分对给定查询本文的所有视频（或视频片段）进行排序，或者在视频到文本检索任务中对给定查询视频（或视频片段）的所有文本进行排序。
CVPR2022《BridgeFormer》港大&腾讯&伯克利提出带有多项选择任务的视频文本检索模型，性能SOTA！...
我爱计算机视觉
05-19 725
关注公众号，发现CV技术之美本文分享 CVPR 2022 论文『Bridging Video-text Retrieval with Multiple Choice Questions』，港大&腾讯&UCBerkeley提出带有多项选择任务的视频文本检索模型，《BridgeFormer》，性能SOTA！详细信息如下：论文链接：https://arxiv.o...
LAFF 文本到视频检索的新基准
zly_Always_be的博客
10-01 2734
整理了ECCV2022 Lightweight Attentional Feature Fusion: A New Baseline for Text-to-Video Retrieval 论文的阅读笔记
Sora文本生成视频模型
quaer的博客
10-06 911
综上所述，Sora之所以能够实现如此出色的效果，是因为它结合了多种先进的技术和方法，这些技术和方法共同工作，使得Sora能够理解和生成复杂的视频内容，满足不同场景下的高质量视频生成需求。： Sora展示了在数字世界中的模拟能力，例如，通过提及“Minecraft”等游戏，Sora能够生成游戏世界中的动态场景，包括玩家的行动和环境变化。ChatGPT正是用的Transformer架构。在Sora生成的视频中，物体的持久性得到了很好的处理，例如，一个角色在视频中持续存在，其外观和行为在整个视频中保持一致。
【学习日记week4】ICCV23论文选：视频文本检索与图像描述
alokag的博客
10-22 3105
跨模态的视频文本检索，主要的目标是进行从文本内容去进行视频检索（一般是text-to-video而不是video-to-text）。在视频文本检索中最重要的任务是如何进行对齐。最标准的做法是将视频和文本的特征通过编码器提取后直接进行对齐。近年来，有了大规模的跨模态与训练模型CLIP，有一批方法基于CLIP来做这类任务。有方法提出了时间融合模块来聚合不同视频帧的特征，然后对视频和文本特征进行跨模态对齐。此后，还有基于视频帧和文本特征的对齐以及更详细的基于视频帧和词特征的更细粒度的对齐。
跨模态检索
03-08
### 跨模态检索的技术实现方法 #### 一、跨模态检索概述 跨模态检索允许查询样例和候选对象属于不同模态的数据，比如图像搜索文本，文本搜索视频等。这种灵活多变的检索方式能够满足用户更多的检索需求[^3]。 #### 二、计算跨模态相关度 跨模态检索技术首先计算查询和候选对象的跨模态相关度，然后根据相关度对候选对象进行排序，从而得到最终的检索结果。这一过程涉及到如何有效地衡量两个不同模态数据之间的相似性。 #### 三、特征提取与表示学习 为了有效执行上述操作，通常会利用预训练模型分别抽取文本和视觉特征，并通过特定策略将这些异构特征映射到统一语义空间内。例如，在ConaCLIP研究中提出了全连接知识交互图的方法用于提升轻量化模型在文本-图像检索任务上的表现[^2]： ```python import torch from transformers import CLIPProcessor, CLIPModel def get_features(image_path, text_query): model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32") inputs = processor(text=[text_query], images=image_path, return_tensors="pt", padding=True) outputs = model(**inputs) image_embeds = outputs.image_embeds text_embeds = outputs.text_embeds return image_embeds, text_embeds ``` 这段代码展示了如何使用Hugging Face提供的`transformers`库加载预训练好的CLIP模型并获取给定图片路径以及文字描述对应的嵌入向量。 #### 四、处理不匹配情况下的信息融合 考虑到实际应用场景中的复杂性和不确定性因素影响，当面对可能存在的非完美配对样本时，可以考虑引入门控机制来动态调整两者的组合权重。具体来说就是设计一种自适应方案——如文中提到的MFFM（Multi-modal Feature Fusion Module），它可以通过计算所谓的“融合指数”来决定何时加强或是削弱某个方向上贡献的重要性[^4]。 ```python class MFFM(torch.nn.Module): def __init__(self): super(MFFM, self).__init__() # 定义一些必要的参数... def forward(self, img_feat, txt_feat): fusion_value = ... # 计算融合指数 gated_img_feat = torch.sigmoid(fusion_value) * img_feat gated_txt_feat = (1 - torch.sigmoid(fusion_value)) * txt_feat fused_feature = gated_img_feat + gated_txt_feat return fused_feature ``` 这里给出了一段简单的PyTorch风格伪代码片段用来说明怎样构建一个多模态特征融合模块实例；当然真实项目里还需要进一步完善细节部分的设计思路。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值