《Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning》阅读及代码实现

最新推荐文章于 2024-06-18 09:39:56 发布
最新推荐文章于 2024-06-18 09:39:56 发布
阅读量1.1k 收藏 11
点赞数 3
分类专栏： 深度学习 文章标签： 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zt_1026/article/details/109537220
版权

论文阅读

论文阅读这部分我也是通过网上资料和有道翻译进行阅读的，这篇论文是中国人民大学博士生陈师哲今年发表在CVPR会议上的论文，网上资料并不是很多， 我也没有完全明白，就不说太多了。

Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning基于层次图推理模型的细粒度文本视频检索。细粒度是指比普通的检索更精细化一些，这里的HGR模型是作者提出的将视频文本匹配转换成全局到局部的层次模型。此模型将文本分解成包括事件、动作和实体的层次语义图，然后利用基于注意力机制的图推理生成层次文本嵌入矩阵，能更好的捕捉全局和局部信息。
在这里插入图片描述 Text-to-video retrieval examples (green: correct; red: incorrect)
Video-to-text retrieval examples
Text-to-video retrieval examples (green: correct; red: incorrect)
1.论文介绍：
（1）互联网上如YouTube和TikTok等视频的迅速出现，给视频内容的准确检索带来了巨大挑战。
（2）传统的基于关键字搜索的检索方法由于关键词是有限的和非结构化的，检索各种不同

最低0.47元/天 解锁文章
文本推理_CVPR 2020 | 细粒度文本视频跨模态检索
weixin_32141253的博客
01-08 946
本文介绍的是CVPR 2020的论文《Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning》(已开源)，文章作者是中国人民大学博士生陈师哲同学，这项工作是陈师哲同学在澳大利亚阿德莱德大学吴琦老师组访问时所完成。作者|陈师哲编辑 | 贾 伟论文链接：http://arxiv.org/abs/2003....
Cross-modal Retrieval（跨模态检索）
热门推荐
nakaizura
05-03 2万+
前一篇文章整理了多模态融合Multimodal Fusion，最近看到一篇很好的跨模态检索的文章，这篇博客就来整理几篇博主认为idea还不错的跨模态检索。另，如果有其他idea很好的跨模态论文，希望你在文章后面留言！ Cross-modal Retrieval 一般一个跨模态检索过程可以既包括模态表征，模态转换，模态对齐和联合学习（唯独没有模态融合，基本上不需要融合）。 Adversarial ...
《论文阅读》Fine-Grained Video-Text Retrieval With Hierarchical Graph Reasoning
未知丶的博客
09-03 2330
留个笔记自用 Fine-Grained Video-Text Retrieval With Hierarchical Graph Reasoning 做什么 Cross-modal retrieval between videos and texts，跨模态检索，简单来说就是根据一段描述文字检索出展现出这段文字内容的视频 做了什么 这篇文章将一句话看成三个层级，即全局转局部，首先是Events事件，即整句话，描述的是整句话的结构，然后是actions，即事件句中包含的动词，描述的是事件的动作，最后是en
视频文本检索论文笔记（一）：Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning
csdnzzkk的博客
04-02 1096
Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning —2022CVPR
读文献：《Fine-Grained Video-Text Retrieval With Hierarchical Graph Reasoning》
John_Snowww的博客
04-14 285
1.这种编码方式非常值得学习，分层式的分析text一样也可以应用到很多地方2.不太理解这里视频的编码是怎么做到的，它该怎么判断action和entity，但总体主要看的还是转换图结构的编码方式，或者说对text的拆分方式。
引领视频与文本检索新纪元：Bridging Video-text Retrieval with Multiple Choice Questions
最新发布
gitblog_00016的博客
06-18 415
引领视频与文本检索新纪元：Bridging Video-text Retrieval with Multiple Choice Questions 去发现同类优质开源项目:https://gitcode.com/ 在跨模态的深度学习研究中，视频与文本的检索一直是热点之一，尤其是在人工智能和多媒体应用领域。今天，我们带您探索一项前沿技术——Bridging Video-text Retrieval ...
CVPR 2020 论文大盘点-图像与视频检索篇
OpenCV中文网
10-25 1968
本文总结CVPR 2020 中所有与图像和视频检索（Image and Video Retrieval）相关论文，总计 16 篇。图像和视频检索常见于搜索引擎、商品服饰搜索等应用场景，另...
WACV 2021 论文大盘点-图像分类篇
OpenCV中文网
02-05 1639
本篇文章总结图像分类相关论文，包含细粒度分类、医学图像分类、植物叶子等级分类等。共计 10篇，如有遗漏，欢迎补充。下载包含这些论文的 WACV 2021 所有论文，请点击：『WACV 2...
Fine-grained Cross-modal Alignment Networkfor Text-Video Retrieval--文献阅读翻译
qq_42014059的博客
12-27 1924
题目：Fine-grained Cross-modal Alignment Networkfor Text-Video Retrieval 作者：Ning Han Hunan University ninghan@hnu.edu.cn Jingjing Chen∗ Fudan University chenjingjing@fudan.edu.cn Guangyi Xiao Hunan University guangyi.xiao@gma...
ACM MM2021 HANet：从局部到整体的检索！阿里提出用于视频文本检索的分层对齐网络HANet！代码已开源！...
我爱计算机视觉
11-22 1114
关注公众号，发现CV技术之美▊写在前面视频-文本检索是视觉语言理解中一项重要但具有挑战性的任务，它旨在学习一个相关的视频和文本实例相互接近的联合嵌入空间。目前的大多数工作都只是基于视频级...
论文笔记：Hierarchical Cross-Modal Graph Consistency Learning for Video-Text Retrieval
missgrass的博客
11-26 1125
视频文本检索中的层次交叉模态图一致性学习摘要介绍方法层次文本图分层视频图跨模态图一致性结论 摘要 由于视频内容在互联网上的普及，视频与文本之间的信息检索引起了研究者的广泛兴趣，这是一项具有挑战性的跨模式检索任务。一种常见的解决方案是学习一个联合嵌入空间来度量跨模态相似性。然而，许多现有的方法或者更多地关注文本信息、视频信息或跨模态匹配方法，而较少关注这三种方法。我们认为，一个好的视频文本检索系统应该考虑这三点，充分利用两种模式的语义信息，并考虑全面匹配。在本文中，我们提出了一种用于视频文本检索任务的分层跨模
HiFi-Net: Hierarchical Fine-Grained Image Forgery Detection and Localization
weixin_43780665的博客
05-28 3587
论文：https://arxiv.org/abs/2303.17111 代码：https://github.com/CHELSEA234/HiFi_IFDL Abstract： cnn合成域和图像编辑域生成的图像伪造属性存在较大差异，这给统一的图像伪造检测与定位(IFDL)带来了挑战。为此，我们提出了一个分层细粒度的IFDL表示学习公式。具体来说，我们首先用不同级别的多个标签表示被操纵图像的伪造属性。然后，我们使用它们之间的层次依赖关系在这些级别上执行细粒度分类。因此，鼓励算法学习不同伪造属性的综合特
Query-Adaptive Late Fusion for Image Search and Person Re-identification阅读笔记
u010452816的博客
01-20 1060
Query-Adaptive Late Fusion for Image Search and Person Re-identification 自适应查询的图像检索晚期融合 摘要：很多文献表明特征融合对图像检索是有效的。一般来说融合各种各样的特征会帮助查询到更多有效的结果。然而，我们不会提前知道，对于给定查询，哪个特征是有效的。故而判断特征的有效性极其重要。 本文提出了一种针对得分层的
Cross-modal Video Moment Retrieval（跨模态视频时刻检索综述）
nakaizura
07-13 1万+
这个方向的出的文章已经有很多了，但是似乎还没有一个统一一点的名字，叫 时域语言定位（Temporally Language Grounding），或者跨模态视频时刻检索/定位（Cross-modal Video Moment Retrieval/Localization）等等都有。 大概给一个定义就是：给定一句自然语言描述的查询语句query，在未剪裁的完整视频中确定该描述发生的时间片段（起始时间，终止时间），简单来讲如上图，就是用一段文字查询具体的视频片段。它与纯的动作定位任务不同之处在于多了跨模态（文.
Video retrieval--X-pool: Cross-Modal Language-Video Attention for Text-Video Retrieval（论文笔记）
智国的博客
05-19 1388
基本信息 title： X-Pool: Cross-Modal Language-Video Attention for Text-Video Retrieval source： CVPR2022 field： video retrieval 一句话亮点 用文本Query对视频K,V的attention定位具体片段 Motivation 视频承载的信息远多于文本，一句文本query往往只表达了一个视频的部分帧的部分区域信息，因此，同一个视频可以对应多个query。之前的研究大多是将视频看作一个整体，使用m
T2VLAD: Global-Local Sequence Alignment for Text-Video Retrieval
missgrass的博客
11-16 1996
T2VLAD:文本-视频检索的全局-局部序列比对摘要 摘要
探索Awesome Video Text Retrieval：视频文本检索的新里程碑
gitblog_00017的博客
04-17 724
探索Awesome Video Text Retrieval：视频文本检索的新里程碑 去发现同类优质开源项目:https://gitcode.com/ 在人工智能的世界中，视频理解和文本检索是两个重要的研究领域。现在，这两个领域的交汇点有一个令人兴奋的项目——Awesome Video Text Retrieval。该项目由开发者danieljf24维护，是一个全面的资源集合，旨在帮助研究人员和开...
给手绘图着色（添加颜色或色彩）：CVPR2020论文点评
吴建明wujianming_110117
03-25 844
给手绘图着色（添加颜色或色彩）：CVPR2020论文点评 Learning to Shade Hand-drawn Sketches 论文链接：https://arxiv.org/pdf/2002.11812.pdf 摘要 本文提出了一种全自动的方法来产生详细和准确的艺术阴影对线素描和照明方向。本文还提供了一个新的数据集，其中包含1000个用灯光方向标记的线条和阴影对示例。值得注意的是，生成的阴...
Fine-Grained Classification的Matlab代码复现与实现
资源摘要信息:"本资源提供了重新实现ICCV 2013论文《Fine-Grained Categorization》的Matlab代码，核心思想是通过将前景划分为子区域来提取特征，以实现细粒度分类。资源包含了实现ICCV 2013方法所需的所有Matlab...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值