2019_Dual Encoding for Zero-Example Video Retrieval_CVPR

最新推荐文章于 2024-08-21 09:01:48 发布
原创 最新推荐文章于 2024-08-21 09:01:48 发布 · 411 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习 #视频检索 #检索 #计算机视觉

本文介绍了一种新颖的视频检索方法，采用概念自由的双塔模型，通过多级编码处理视频和文本特征，实现全局、局部和时序特征的融合。实验覆盖多个数据集，并展示了在TRECVID比赛中的优秀表现，同时评估了模型的效率。代码开源，关注VSE++编码和改进的边际排名损失函数。

Motivation

现存的视频检索的工作都是concept based的方法，从视频和文本中寻找各自对应的概念，在现实场景中比较难以使用，作者提出concept free方法，加入多种特征的双塔模型，简单高效。

 

Contribution

提出一个多级的编码方式，映射到同一空间

渐进式地学习局部、全局和时序的特征

不错的效果

 

Method

 

如图，视频和文本的模型差不多，对于视频先用预训练好的模型提取特征，通过平均池化得到全局特征，通过双向GRU得到时序特征，通过双向GRU和一维卷积得到局部特征，之后拼接到一起作为视频的特征，对于文本也是一样的。这样得到的视频和文本的特征映射到同一空间后使用VSE++进行common space learning。

 

损失函数使用improved marginal ranking loss，同时使用了难样本挖掘的方法。

 

Experiments

作者做的实验非常多，在5个数据集上做了实验。其中包括了一个TRECVID的比赛Evaluating ad-hoc and instance video search, events detection, video captioning and hyperlinking

 

作者还计算了efficiency

 

Codes

https://github.com/danieljf24/dual_encoding

关于VSE++的代码：https://github.com/fartashf/vsepp

 

 

视频文本检索论文笔记（二）：Dual Encoding for Video Retrieval by Text
csdnzzkk的博客
04-02 2176
Dual Encoding for Video Retrieval by Text 双编码的文本视频检索 16页 （初版是2019CVPR，这是后续的改进）                              
CVPR2020论文解析：视频语义检索
吴建明wujianming_110117
03-23 1534
CVPR2020论文解析：视频语义检索 Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning 论文链接：https://arxiv.org/pdf/2003.00392.pdf 摘要 随着视频在网络上的迅速出现，视频与文本的跨模式检索越来越受到人们的关注。目前解决这个问题的主要方法是学习一个联合嵌入空间来测量跨模态...
zero-examples:去零的例子
05-17
归零 English | 0.什么是归零 go-zero是一个内置了许多工程实践的Web和rpc框架。 它的诞生是为了通过弹性设计确保繁忙服务的稳定性，并且多年来一直为拥有数千万用户的站点提供服务。 go-zero包含简单的API描述语法和称为goctl代码生成工具。 您可以使用goctl从.api文件生成Go，iOS，Android，Kotlin，Dart，TypeScript，JavaScript。 归零的优势： 每天有成千上万的活跃用户提高服务的稳定性 内置链接超时控制，并发控制，速率限制，自适应断路器，自适应减载，甚至无需配置 内置的中间件也可以集成到您的框架中 简单的API语法，一个命令可生成几种不同的语言 自动验证客户端的请求参数 大量的内置微服务管理和并发工具包 1.归零的背景 在2018年初，我们决定重新设计我们的系统，从具有Java + MongoDB的整体架构到微
Dual Encoding for Zero-Example Video Retrieval论文阅读笔记
zhongzhh8的博客
09-17 746
https://github.com/zhongzhh8/PaperReading/blob/master/Dual%20Encoding%20for%20Zero-Example%20Video%20Retrieval%20Note.md
Dual Encoding for Video Retrieval by T ext
missgrass的博客
11-04 1186
这里写目录标题视频编码：文本编码：本文3.2 Text-side多级编码混合空间学习概念空间学习 努力实现无概念表征 典型相关分析(Canonical Correlation Analysis, CCA)经常被用于将视觉和文本特征线性投影到一个公共空间中。 本文主要是描述复杂的查询和视频内容至关重要。 双编码模型将从训练数据中学习到的视频和文本信息分别存储在不同的表示中，并在推理阶段回忆它们。 通过自动检测概念来表示视频内容，这些概念用于匹配目标事件的文本描述。 基于概念的表示的一个吸引人的特性是其良好的可
【CVPR2019】论文完整列表一
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 9451
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
CVPR 2019 论文汇总（按方向进行论文划分）
鬼刀
05-28 3万+
cvpr2019 accepted papers title（官方分类，需科学前往） Github论文汇总链接（欢迎star) 论文PDF下载（更新中，提取码：osvy） 论文解读汇总 目录：(也欢迎大家推荐自己的CVPR2019文章，以下篇幅较大，分类如有错误欢迎留言指出和补充谢谢~） 检测38分割50分类、识别19跟踪20人脸12人体姿态估计/手...
【CVPR2022】论文列表与下载——PartFour
TomRen
06-12 3459
【CVPR2022】完整论文列表
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
denghe优快云的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
go-zero 示例项目教程
gitblog_00197的博客
08-10 493
```plaintext zero-examples/ ├── README.md // 主要的项目说明文件，介绍项目目的和基本使用指引。 ├── LICENSE // 开源许可证文件，规定了代码的使用权限和限制。 ├── go.mod // Go modules 的配置文件，列出项目依赖的外部库版本。 ├── go.sum ...
Video retrieval based on deep convolutional neural network 论文阅读
pywin
06-03 910
《Video retrieval based on deep convolutional neural network》论文中采用CNN提取高级语义特征，输入的三个视频共享一个cnn参数，经过cnn得到三个视频各自的特征（[batch,16,Nd]），根据我的理解，FC1的上一层是各视频特征的压缩，由[batch,16,Nd]压缩到了[batch,16*Nd]。此时的特征再经过一个FC1层，输出的特征的维度由[batch,16*Nd]转化为[batch,bits],bits就是hash的bi...
探索视频检索新境界：双编码在零样本视频检索中的应用
gitblog_00403的博客
08-21 331
探索视频检索新境界：双编码在零样本视频检索中的应用 随着人工智能技术的飞速发展，如何高效地搜索和匹配视频与文本信息成为了研究的热点。今天，我们要介绍的是一个前沿的开源项目——“双编码用于零样本视频检索”（Dual Encoding for Zero-Example Video Retrieval），该技术来自于CVPR'19的一篇论文，并已在实际场景中展示了其强大的潜力。 项目介绍 本项目实现了一...
文本推理_CVPR 2020 | 细粒度文本视频跨模态检索
weixin_32141253的博客
01-08 999
本文介绍的是CVPR 2020的论文《Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning》(已开源)，文章作者是中国人民大学博士生陈师哲同学，这项工作是陈师哲同学在澳大利亚阿德莱德大学吴琦老师组访问时所完成。作者|陈师哲编辑 | 贾 伟论文链接：http://arxiv.org/abs/2003....
【CVPR2019_论文汇总】（按方向划分，0401 更新中）
热门推荐
maweifei的博客
04-01 3万+
转载链接：http://bbs.cvmart.net/topics/302/cvpr2019paper 作为计算机视觉领域三大顶会之一，CVPR2019（2019.6.16-6.19在美国洛杉矶举办）被CVers 重点关注。目前CVPR 2019 接收结果已经出来啦，相关报道：1300篇！CVPR2019接收结果公布，你中了吗？ 开设此帖希望可以实时跟进CVPR2019的即时信息及相关优秀论文，...
Video Index And Retrieval
Jony0917的专栏
10-25 591
CVPR2019 | 论文之行为/动作识别、手势识别、时序动作检测及视频相关
吉良的博客
11-11 4768
CVPR2019 | 论文之行为/动作识别、手势识别、时序动作检测及视频相关 行为/动作识别、手势识别 1、An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition 中文：《一种用于骨架动作识别的注意增强型图卷积LSTM网络》 作者：Chenyang Si, Wentao Chen, Wei Wang, Liang Wang, Tieniu Tan 论文链接：https://arx
CVPR2019| CVPR论文接收列表！
中科院AI算法工程师的博客
03-19 1万+
欢迎关注微信公众号【计算机视觉联盟】获取更多前沿AI、CV资讯 统计CVPR2019论文（附链接、和代码），更新于8月11日（arXiv最新日期），持续更新中！ 1294篇的CVPR2019论文PDF下载： 关注公众号【计算机视觉联盟】回复关键词【CVPR2019】即可获取下载链接！ 【1】Learning Regularity in Skeleton Trajectories ...
词嵌入（word embedding）、文本分类（Text Classification）概要知识笔记
zhongzhh8的博客
09-17 1058
词嵌入（word embedding）github笔记的地址 https://github.com/zhongzhh8/PaperReading/blob/master/text_classification.md 文本分类（Text Classification）github笔记的地址 https://github.com/zhongzhh8/PaperReading/blob/maste...
prototype Zero-Shot Sketch-Based Image Retrieval
最新发布
12-11
“Prototype Zero-Shot Sketch-Based Image Retrieval”（原型零样本基于草图的图像检索）旨在解决从图像数据库中根据草图进行检索时，面对未见过类别的图像检索问题。该领域利用原型去表示类别的特征信息，在零样本的设定下实现准确的图像检索。 零样本学习使得模型能够在没有见过某些类别的训练样本的情况下，通过借助辅助信息（如文本描述、属性）来识别和分类这些类别。在基于草图的图像检索中，草图作为查询输入，这要求模型理解草图的抽象特征，并将其与图像库中的图像进行匹配。原型通常是对一个类别的代表性特征表示，它能够综合该类别内多个样本的信息，从而更好地刻画类别的本质特征。在零样本条件下，原型可以通过语义信息构建，这样模型就可以对从未见过的类别进行推断和检索。 在代码示例方面，下面是一个简单的伪代码示例，展示基本的原型零样本基于草图的图像检索流程： ```python import numpy as np # 假设这些是预训练好的特征提取器 def sketch_feature_extractor(sketch): """ 从草图中提取特征 """ # 这里只是简单示例，实际中会使用深度学习模型 return np.random.rand(128) def image_feature_extractor(image): """ 从图像中提取特征 """ return np.random.rand(128) def prototype_construction(semantic_info): """ 根据语义信息构建原型 """ return np.random.rand(128) # 假设这是图像数据库 image_database = [np.random.rand(100, 100, 3) for _ in range(100)] # 假设这是输入的草图 input_sketch = np.random.rand(100, 100) # 提取草图特征 sketch_features = sketch_feature_extractor(input_sketch) # 构建原型 semantic_info = "example semantic description" prototype = prototype_construction(semantic_info) # 提取图像数据库中图像的特征 image_features_list = [image_feature_extractor(img) for img in image_database] # 计算草图特征与原型的相似度，以及草图特征与图像特征的相似度 similarities_with_prototype = [] similarities_with_images = [] for img_features in image_features_list: similarity_with_prototype = np.dot(sketch_features, prototype) / (np.linalg.norm(sketch_features) * np.linalg.norm(prototype)) similarity_with_image = np.dot(sketch_features, img_features) / (np.linalg.norm(sketch_features) * np.linalg.norm(img_features)) similarities_with_prototype.append(similarity_with_prototype) similarities_with_images.append(similarity_with_image) # 可以根据相似度进行排序，得到检索结果 retrieval_indices = np.argsort(similarities_with_images)[::-1] print("检索结果索引:", retrieval_indices) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值