跨媒体检索综述 A Comprehensive Survey on Cross-modal Retrieval

最新推荐文章于 2023-12-31 01:46:21 发布
原创 最新推荐文章于 2023-12-31 01:46:21 发布 · 2.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#跨媒体检索

本文介绍了一篇由Kaiye Wang撰写的关于跨媒体检索的综述文章，并提供了一个详细的算法分类表，对于理解跨媒体检索领域有重要的参考价值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

近日在Arxiv上搜到一篇详细介绍跨媒体检索的综述，作者为Kaiye Wang。下表将跨媒体检索的典型算法做了归类，非常详细，可作参考。


《Large-scale Multi-modal Pre-trained Models: A Comprehensive Survey》中文校对版
buyaotutou的博客
11-17 853
文章汉化系列目录 文章目录文章汉化系列目录摘要引言2 背景2.1 传统深度学习2.2 自然语言处理中的预训练2.3 计算机视觉中的预训练2.4 音频与语音中的预训练3 多模态预训练3.1 任务定义与关键挑战3.2 MM-PTM的优势3.3 预训练数据3.4 预训练目标3.5 预训练网络架构3.5.1 自注意力和Transformer3.5.2 单流和多流架构3.5.3 模态交互学习3.6 基于知识的预训练3.7 不同预训练大模型的特性4 下游任务4.1 生成任务4.2 分类任务4.3 回归任务4.4 提示
【AI视野·今日NLP 自然语言处理论文速览 第七十六期】Fri, 12 Jan 2024
TomRen
01-29 2012
AI视野·今日CS.NLP 自然语言处理论文速览 Fri, 12 Jan 2024 Totally 60 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Axis Tour: Word Tour Determines the Order of Axes in ICA-transformed Embeddings Authors Hiroaki Yamagiwa, Yusuke Takase, Hidetoshi Shi
一、、笔记：A Comprehensive Survey on Cross-modal Retrieval
He_YI的博客
07-07 994
A Comprehensive Survey on Cross-modal Retrieval 1、Introduction 什么是跨模态检索(cross-modal retrieval)? 通常不同的数据模式会用来描述相同的主题或者事件，例如，一个网页不仅包含文字叙述，还包含用于说明共同内容的图像或者视频，这种类型的数据称为多模态数据(multi-moddal data)，其具有异构性(het...
《A Comprehensive Survey on Cross-modal Retrieva》
qq_33789406的博客
03-12 339
《A Comprehensive Survey on Cross-modal Retrieva》 论文链接(Submitted on 21 Jul 2016) Abstract 先是简要叙述了什么时跨模态检索（一个网页往往不仅包含文字叙述，还包含用于说明共同内容的图像或者视频，这种类型的数据称为多模态数据(multi-moddal data)，其具有异构(heterogeneous)，跨模态...
（跨模态检索综述）A Comprehensive Survey on Cross-modal Retrieval
HYY233的博客
12-13 5148
A Comprehensive Survey on Cross-modal Retrieval Kaiye Wangy, Qiyue Yiny, Wei Wang, Shu Wu, Liang Wang∗, Senior Member, IEEE 1. 研究现状： 目前跨模态检索主要分为两种方法：(1)real-valued表示学习；(2)binary表示学习。Real-valued表示学习...
跨媒体理解与检索
初学者的博客
05-18 1万+
“诗画合一”的跨媒体理解与检索2018年03月06日 00:00:00阅读数：101编者按：王维的千古名句“大漠孤烟直，长河落日圆”，展现了其将诗画浑然一体的创作功底。苏轼更是曾以一题跋来评价王维的《蓝田烟雨图》：味摩诘之诗，诗中有画；观摩诘之画，画中有诗。《蓝田烟雨图》虽已失传，“诗中有画、画中有诗”，却流传了下来，并代表了古代跨媒体理解领域，文本与图像之间映射关系的最高水平。古人在品诗赏画时，...
【AI视野·今日CV 计算机视觉论文速览 第230期】Fri, 2 Jul 2021
TomRen
07-02 2551
AI视野·今日CS.CV 计算机视觉论文速览 Fri, 2 Jul 2021 Totally 69 papers ????上期速览✈更多精彩请移步主页 Daily Computer Vision Papers CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows Authors Xiaoyi Dong, Jianmin Bao, Dongdong Chen, Weiming Zhang
跨媒体检索--有监督方法
hcw15588652014的博客
10-08 944
Cross-modal Retrieval with Correspondence Autoencoder 对应自动编码器的跨模态检索 Deep Visual-Semantic Alignments for Generating Image Descriptions 用于生成图像描述的深度视觉语义对齐 Multimodal Convolutional Neural Networks for Matching Image and Sentence 多模态卷积神经网络用于图像和句子匹配 Order-
单/跨模态检索（single-/corss-modal retrieval）数据集划分
iTom's blog
07-12 2898
跨模态检索的模式有三种： supervised semi-supervised unsupervised 从实际应用的场景考虑数据集的划分方法，retrieval set 应该是对应已经获得的所有数据（database），比如搜索引擎里已经存好的数据；而 test/query set 就对应那些还未出现的别人查询时的数据，比如搜索时输入的文本。 所以讲道理整个 retrieval set 的数...
跨媒体分析与推理技术研究综述
03-11
当前,以网络数据为代表的跨媒体数据呈现爆炸式增长的趋势,呈现出了跨模态、跨数据源的复杂关联及动态演化特性,跨媒体分析与推理技术针对多模态信息理解、交互、内容管理等需求,通过构建跨模态、跨平台的语义贯通与统一表征机制。
Fast Cross-Modal Retrieval
qq_41831542的博客
11-07 484
Survey on Fast Cross-Modal Retrieval BackgroundProblem DefinitionDatasetEvaluationPapers1. CVPR 2017 DCMH "Deep Cross-Modal Hashing"IntroductionPipelineNovelty & ContributionImprovement Point2. CVPR 2018 SSAH "Self-Supervised Adversarial Hashing Netwo
跨媒体检索综述——An Overview of Cross-Media Retrieval: Concepts, Methodologies, Benchmarks, and Challenges
sunshine__0411的博客
10-22 3552
跨媒体检索是针对查询和检索结果具有不同媒体类型的场景而设计的。本文包括概念、方法、主要挑战和公开问题，并建立了包括数据集和实验结果的基准。本文构建了一个新的跨媒体数据集XMedia，包含文本，图像，视频，音频，3D模型五种媒体类型。 关键词：跨媒体检索，综述，概念，方法，基准，挑战 现在主流的方法是共同空间学习方法，学习不同媒体类型的特征的共同空间，并在共同空间中测量他们的相似性。 同...
Inter-Media Hashing for Large-scale Retrieval fromHeterogeneous Data Sources--文献翻译
qq_42014059的博客
02-05 464
论文链接：Inter-media hashing for large-scale retrieval from heterogeneous data sources | Proceedings of the 2013 ACM SIGMOD International Conference on Management of Data 摘要 在本文中，我们提出了一种新的多媒体检索范式来创新异构多媒体数据的大规模搜索。它能够从异构数据源返回不同媒体类型的结果，例如，使用查询图像从不同...
跨媒体分析与推理
shuzfan的专栏
10-27 1万+
跨媒体分析与推理1. 什么是跨媒体分析与推理？媒体在计算机领域有两种含义：一是指媒介，即存储信息的实体，如磁盘、光盘、磁带、半导体存储器等；二是指传递信息的载体，如数字、文字、声音、图形、图像等。以往的媒体信息处理模型往往只针对某种单一形式的媒体数据进行推理分析，比如图像识别、语音识别、文本识别等。 而越来越多的任务需要像人一样能够协同综合处理多种形式(文本、音频、视频、图像等)的信息，这就是跨媒体
跨媒体分析与推理技术在地图定位中的挑战
AI天才研究院
12-31 1075
1.背景介绍 地图定位技术是现代地理信息系统(GIS)中的核心技术之一，它能够将地理空间信息与其他类型的信息进行结合，从而为各种行业提供有价值的信息和服务。随着大数据、人工智能和云计算等技术的发展，地图定位技术也逐渐发展到了跨媒体分析与推理技术的阶段。 跨媒体分析与推理技术是指利用多种类型的数据源(如地理空间数据、图像数据、文本数据、音频数据等)进行分析和推理，以解决复杂问题的技术。在地图定位...
跨模态搜索(cross-modal/media retrieval)
热门推荐
不会讲段子的正能量小王子
05-26 1万+
跨模态搜索研究的基本内容是寻找不同模态样本之间的关系，实现利用某一种模态样本，搜索近似语义的其他模态样本。 本文实现了论文《Joint Feature Selection and Subspace Learning for Cross-Modal Retrieval》（PAMI2016）和论文《Simple to Complex Cross-modal Learning
文本图像跨媒体检索进展
Hello World
05-15 1万+
主要介绍9篇关于文本图像双向检索任务的9篇论文。
cross-modal fusion
最新发布
03-23
### 跨模态融合的技术与实现 跨模态融合（Cross-Modal Fusion）是指通过结合来自不同数据源的信息来提升模型性能的一种技术。这种技术广泛应用于视觉-语言表示学习、多感官交互等领域。以下是关于该主题的一些关键技术及其具体实现方式。 #### 多模态数据处理的基础理论 在机器学习领域，多种人工智能技术被用于改进资产定价准确性以及更广泛的多模态数据分析任务[^1]。这些技术包括但不限于机器学习、自然语言处理、深度学习等。其中，深度学习尤其擅长于提取复杂特征并将其映射到统一的空间中以便后续分析。 #### Bridge-Tower 方法论 一篇名为《Bridge-Tower: Building Bridges Between Encoders in Vision-Language Representation Learning》的论文介绍了一种新颖的方法——Bridge-Tower架构[^2]。此方法旨在解决视觉和语言之间的语义鸿沟问题。它通过构建连接两个编码器之间桥梁的方式实现了高效的跨模态信息传递。这种方法不仅提高了下游任务的表现力，还增强了对于未见过样本的理解能力。 #### 实现细节 为了更好地理解如何实际操作 cross-modal fusion，在 Python 中可以采用如下代码框架作为起点： ```python import torch from transformers import BertModel, ViTModel class CrossModalFusion(torch.nn.Module): def __init__(self): super(CrossModalFusion, self).__init__() # 初始化文本编码器 (BERT) self.text_encoder = BertModel.from_pretrained('bert-base-uncased') # 初始化图像编码器 (ViT) self.image_encoder = ViTModel.from_pretrained('google/vit-base-patch16-224-in21k') # 定义全连接层以进行联合嵌入空间投影 self.fc_text = torch.nn.Linear(768, 512) self.fc_image = torch.nn.Linear(768, 512) def forward(self, text_input_ids, image_pixel_values): text_output = self.text_encoder(text_input_ids).last_hidden_state[:,0,:] image_output = self.image_encoder(image_pixel_values).last_hidden_state[:,0,:] fused_text = self.fc_text(text_output) fused_image = self.fc_image(image_output) return fused_text, fused_image ``` 上述代码片段展示了如何利用预训练的语言模型 BERT 和视觉 Transformer 来创建一个多模态融合网络结构。通过对齐两种模式下的隐藏状态向量维度至相同大小后完成初步融合过程。 #### 总结 综上所述，跨模态融合涉及多个子领域的协同工作，从基础算法设计到高级应用开发均需深入研究。无论是基于传统统计学还是现代神经网络驱动方案，其核心目标始终围绕着提高异构数据间关联度展开探索。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值