《跨模态检索Survey》

waiall

于 2021-03-13 14:40:55 发布

阅读量280

点赞数

分类专栏： java 文章标签：深度学习

本文链接：https://blog.youkuaiyun.com/uestc_huhu/article/details/114706216

版权

java 专栏收录该内容

28 篇文章

订阅专栏

本文概述了跨模态搜索的两种主要方法：真实值的表示学习与二进制的表现学习（即跨模态哈希）。真实值的表示学习旨在为不同模态的数据创建通用的实数值表示；而二进制的表现学习则侧重于将各种模态的数据转换为共同的哈明空间中的二进制代码，以提高检索速度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2.overview
跨模态搜索的两种方式：
（1）真实值的表示学习

learned common representations for various modalities of data are real-valued.
2.According to the information utilized to learn the common representation, the cross-modal retrieval methods can be further divided into four groups: 1) unsupervised methods, 2) pairwise based methods, 3) rank based methods, and 4) supervised methods.

（2）二进制的表现学习—跨模态哈希

1.To speed up cross-modal retrieval, the binary representation learning methods aim to transform different modalities of data into a common Hamming space.
2.Since the rep- resentation is encoded to binary codes, the retrieval accuracy generally decreases slightly due to the loss of information.