【多模态】《HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval》ICCV 2021

最新推荐文章于 2024-11-20 11:28:59 发布
最新推荐文章于 2024-11-20 11:28:59 发布
阅读量691 收藏
点赞数
分类专栏： 多模态 论文解读 CV 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yanguang1470/article/details/125903295
版权
《HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval》是快手和北大在ICCV 2021上的研究，提出了一种双塔结构的视频文本检索方法。该方法强调在第一层和最后一层进行表征对齐，并引入MoCo的动量更新机制，通过四塔模型实现高效的对比学习。实验验证了其在大规模视频文本检索任务中的有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

《HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval》ICCV 2021

快手和北大的工作，视频文本检索任务，即让视频和文本对齐，已经用于快手的各个场景中。

视频-文本对齐方法

在这里插入图片描述

现有的视频-文本对齐的方法有三类：

  • Two-stream，文本和视觉信息分别通过独立的 Vision Transformer 和 Text Transformer，然后在多模态 Transformer 中融合，代表方法例如 ViLBERT、LXMERT等。
  • Single-stream，文本和视觉信息只通过一个多模态 Transformer 进行融合，代表方法例如 VisualBERT、Unicoder-VL等。
  • Dual-stream，文本和视觉信息仅仅分别通过独立的 Vision Transformer 和 Text Transformer，代表方法例如 COOT、T2VLAD等。

显然第三类双塔类型的时间开销是最小的，本文也是采用双塔结构，以满足大规模视频文本检索需求。

本文主要有两个创新点：1、不仅在最后一层表征对齐，还在第一层表征对齐。2、引入MoCo的动量更新机制到对比学习匹配中。

第二点比较复杂，每个塔还有一个动量更新塔，

最低0.47元/天 解锁文章
北大&FAIR&自动化所&快手提出基于动量对比学习的层次Transformer—HiT，用于视频文本检索！代码已开源！...
我爱计算机视觉
11-24 1366
关注公众号，发现CV技术之美▊写在前面随着互联网上多媒体数据的增长，视频文本检索已经成为一个热门的研究课题。用于视频文本学习的Transformer因其良好的性能而受到越来越多的关注。然...
Video retrieval--X-pool: Cross-Modal Language-Video Attention for Text-Video Retrieval（论文笔记）
智国的博客
05-19 1403
基本信息 title： X-Pool: Cross-Modal Language-Video Attention for Text-Video Retrieval source： CVPR2022 field： video retrieval 一句话亮点 用文本Query对视频K,V的attention定位具体片段 Motivation 视频承载的信息远多于文本，一句文本query往往只表达了一个视频的部分帧的部分区域信息，因此，同一个视频可以对应多个query。之前的研究大多是将视频看作一个整体，使用m
T2VLAD: Global-Local Sequence Alignment for Text-Video Retrieval
missgrass的博客
11-16 2019
T2VLAD:文本-视频检索的全局-局部序列比对摘要 摘要
论文笔记:TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval
missgrass的博客
12-03 3000
跨模态广义蒸馏的文本-视频检索摘要介绍动机文本嵌入集合展示方法结论 摘要 近年来，通过对视频和音频数据集进行大规模的预训练来构建强大的视频编码器，文本视频检索的任务取得了长足的进展。相比之下，尽管存在自然对称性，但开发大规模语言预训练的有效算法的设计仍有待探索。在这项工作中，我们首先研究了此类算法的设计，并提出了一种新的广义提取方法TEACHTEXT，该方法利用来自多个文本编码器的互补线索为检索模型提供增强的监控信号。此外，我们将我们的方法扩展到视频端模式，并表明我们可以在不影响性能的情况下有效地减少测试时
video retrieval 论文阅读---Text video Retrieval with Global-Local Semantic Consistent Learning
幸运的小菜鸟的博客
06-04 1221
视频检索video retrieval
聚焦视频文本检索：一文概览视频文本检索任务最新研究进展
Paper weekly
01-05 4960
©PaperWeekly 原创 · 作者 | 小马单位 | FightingCV公众号运营者研究方向 | 计算机视觉写在前面近几年，随着抖音、快手等短视频平台，以及哔哩哔哩、优酷等视频平台...
Transformer模型：人工智能界的全能跨界王
fengbeely的博客
07-26 1507
Transformer凭借强大特征提取能力补齐了传统RNN在NLP领域中的诸多短板，其多种衍生模型在NLP任务上表现出色。此外，随着CNN模型的发展从成熟走向瓶颈，Transformer为CV领域注入了新鲜血液，从分类到分割，从图像到视频，Transformer已逐步代替CNN成为解决CV领域问题新范式。除强大的特征提取能力外，Transformer的自注意力结构在多类型数据模式对齐上也同样表现优秀，为处理文本、语音、图像、视频等多类型数据融合问题提供了新思路。
＜＜多模态预训练—泛读＞＞2022：Bridging Video-text Retrieval with Multiple Choice Questions
金克丝的博客
07-03 823
目录问题与方案一、Introduction二、Related Work三、Method3.1、Dual-encoder for Video-text Pre-training: a revisit3.2、Multiple Choice Questions 3.3、Pre-training Objectives3.4、Model Architecture3.4.1、VideoFormer3.4.2、TextFormer3.4.3、BridgeFormer四、Experiments五、Conclusion
探索Awesome Video Text Retrieval：视频文本检索的新里程碑
gitblog_00017的博客
04-17 752
探索Awesome Video Text Retrieval：视频文本检索的新里程碑 去发现同类优质开源项目:https://gitcode.com/ 在人工智能的世界中，视频理解和文本检索是两个重要的研究领域。现在，这两个领域的交汇点有一个令人兴奋的项目——Awesome Video Text Retrieval。该项目由开发者danieljf24维护，是一个全面的资源集合，旨在帮助研究人员和开...
HiFormer Hierarchical Multi-scale Representations Using Transformers for Medical Image Segmentation
weixin_44832243的博客
04-25 3400
由于卷积神经网络的卷积运算的特性，它们在建模长程相关性和空间相关性时受到限制。虽然Transformer最初是为了解决这个问题而开发的，但它们无法捕获低级别的特征。相比之下，局部和全局特征对于密集预测(例如在具有挑战性的环境中进行分割)都是至关重要的。在本文中，我们提出了一种新的方法HiFormer，该方法有效地连接了CNN和用于医学图像分割的Transformer。具体来说，我们使用开创性的Swin Transformer模块和基于CNN的编码器设计了两个多尺度特征表示。
awesome-video-text-retrieval:精选的用于视频文本检索的深度学习资源列表
05-03
深度学习很棒的视频文本检索 精选的用于视频文本检索的深度学习资源列表。 贡献 请随时添加文件的。 降价格式： - `[Author Journal/Booktitle Year]` Title. Journal/Booktitle, Year. [[paper]](link) [[code]](link) [[homepage]](link) 目录 - - - - 临时视频搜索 其他相关 数据集 实作 火炬 hybrid_space dual_encoding w2vvpp 嵌入式专家混合 howto100米 合作的 hgr 笨人 毫米 卡伯特 TensorFlow jsfusion 其他 w2vv （ Keras ） 有用的工具包 通过MXNet从视频帧中提取CNN功能 文件 2021年 [Dong et al. TPAMI21] [Dong et al.
HiFormer: Hierarchical Multi-scale Representations Using Transformers forMedical Image Segmentation
最新发布
qq_63293575的博客
11-20 943
卷积神经网络（CNN）的本质限制了对长距离依赖性和空间相关性的建模能力。Transformer 擅长捕捉全局特征（解决了上述问题），但其在捕获低级特征（如边缘信息或细节）方面表现不足。的新方法，结合 CNN 和 Transformer 的优势。
论文笔记：Hierarchical Cross-Modal Graph Consistency Learning for Video-Text Retrieval
missgrass的博客
11-26 1140
视频文本检索中的层次交叉模态图一致性学习摘要介绍方法层次文本图分层视频图跨模态图一致性结论 摘要 由于视频内容在互联网上的普及，视频与文本之间的信息检索引起了研究者的广泛兴趣，这是一项具有挑战性的跨模式检索任务。一种常见的解决方案是学习一个联合嵌入空间来度量跨模态相似性。然而，许多现有的方法或者更多地关注文本信息、视频信息或跨模态匹配方法，而较少关注这三种方法。我们认为，一个好的视频文本检索系统应该考虑这三点，充分利用两种模式的语义信息，并考虑全面匹配。在本文中，我们提出了一种用于视频文本检索任务的分层跨模
Hierarchical Transformers for Multi-Document Summarization笔记
Tuka2000的博客
07-09 1082
学习文本之间的潜在联系 一、导论 提到了wikisum，尽管wikisum向抽象多文档摘要迈出了重要的第一步，但是： 它仍然认为多个输入文档是连接的平面序列，不知道文档之间的层次结构和可能存在的关系。 选择搜索结果前10个，每个结果可能有重叠，用不同的方式表达同样的内容 作者强调文档间的图关系(PageRank？) 作者貌似要替换掉文档间的注意力机制计算 replacing inter-document attention with a graph-matrix computed b
HiFormer：基于Transformer的医学图像分割层次多尺度表示开源项目指南
gitblog_00997的博客
09-11 816
HiFormer：基于Transformer的医学图像分割层次多尺度表示开源项目指南 HiFormer HiFormer: Hierarchical Multi-scale Representations Using Transformers for Medical Image Segmentation (WACV 20...
【论文精读】Hi-Transformer 层次化和交互化的长文档建模
elf1110的博客
04-05 3502
论文链接：​​​​​​https://aclanthology.org/2021.acl-short.107.pdf Abstract 因为输入文本长度的复杂性，Transformer难以处理长文档。 为此，提出一种分层交互式的HI-Transformer模型对长文档进行建模。 Model 整体架构如图所示： 首先经过sentence Transformer来学习每个句子的语义表示；然后结合句子的位置信息，经过Document Transformer，得到对整个文档建模的句子语.
Hierarchical Multi-Scale Gaussian Transformer for Stock Movement Prediction翻译
nopSled
03-23 1308
摘要
深度学习——Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
菜到怀疑人生的博客
04-28 1203
文章目录前言Swin Transformer的结构Patch Merging 前言 Swin Transformer是微软研究院于2021年3月推出的Transformer模型，用于处理CV中的任务，例如图像分类、图像分割、语义分割等等，该模型的性能非常惊人，其结果如下： ImageNet-1k上，预训练准确率可达86.4% COCO目标检测数据集上，box AP可达58.7%，比sota高出2.7%，mAP可达51.1，比sota高出2.6% ADE20K语义分割数据集上，mIOU可达53.5%，比so
图卷积网络在文本和视频的关系对齐中的应用
snow_maple521的博客
12-13 547
1.写在前面 原文来自知网《基于视觉-文本关系对齐的跨模态视频片段检索》 这是一篇关于利用文本进行视频片段检索的论文。 2.论文要点 论文总结了前人研究工作的缺点，并借助图结构在表达关系时的强大能力与图卷积网络的近年发展，，提出了跨模态关系对齐的图卷积框架 CrossGraphAlign， 具体就是CrossGraphAlign首先为查询文本和待检索视频分别生成文本关系图和视觉关系图。接着CrossGraphAlign中的视觉-文本关系对齐的图卷积网络试图匹配一段时间内的文本关系图和视觉关系图。最后基于匹配
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值