跨模态图文检索：浅谈SCRATCH

最新推荐文章于 2025-04-08 11:06:53 发布
最新推荐文章于 2025-04-08 11:06:53 发布
阅读量921 收藏 6
点赞数
分类专栏： 文献阅读 文章标签： 机器学习 深度学习 人工智能 算法 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44390691/article/details/105180561
版权

《SCRATCH: A Scalable Discrete Matrix Factorization Hashing for Cross-Modal Retrieval》（2018 ACM）

这篇文章提出了一种新的跨模态检索方法：SCRATCH。这是一种有监督的哈希方法，主要是针对损失函数和迭代优化的环节进行改进，以期减少构造哈希码过程中产生的量化误差，得到更高的精确度。
SCRATCH方法首先用CMF（集合矩阵分解）技术将原始特征映射到公共核空间中。对于每一种模态的数据，都有这样一个目标函数：
在这里插入图片描述
X代表第t种模态的数据，U和V两个矩阵的乘积则是投影到公共子空间之后的特征。

在原始空间中，一个实例的不同表现形式共享相同的语义标签。因此，可以从“把映射后的特征回归到类别标签当中”的角度出发，来确保对于同一实例的不同表现形式而言，所学习到的特征和类别标签具有一致性。目标函数如下：
在这里插入图片描述
其中L是ground-truth标签矩阵，G是投影矩阵。

从原始特征生成二进制码的过程中，又涉及到以下目标函数：

最低0.47元/天 解锁文章
跨模态搜索(cross-modal/media retrieval)
不会讲段子的正能量小王子
05-26 1万+
跨模态搜索研究的基本内容是寻找不同模态样本之间的关系，实现利用某一种模态样本，搜索近似语义的其他模态样本。 本文实现了论文《Joint Feature Selection and Subspace Learning for Cross-Modal Retrieval》（PAMI2016）和论文《Simple to Complex Cross-modal Learning
Cross-modal Retrieval（跨模态检索）
热门推荐
nakaizura
05-03 2万+
前一篇文章整理了多模态融合Multimodal Fusion，最近看到一篇很好的跨模态检索的文章，这篇博客就来整理几篇博主认为idea还不错的跨模态检索。另，如果有其他idea很好的跨模态论文，希望你在文章后面留言！ Cross-modal Retrieval 一般一个跨模态检索过程可以既包括模态表征，模态转换，模态对齐和联合学习（唯独没有模态融合，基本上不需要融合）。 Adversarial ...
跨模态检索
Exception_3212536934的博客
04-22 8196
目录 一、定义 二、分类 基于特征表示方法 基于图文匹配的方法 三、相关概念 四、相关网络结构 五、相关文献 一、定义 通过一种模态样本来检索具有近似语义的另一种模态样本。 跨模态学习是多模态学习的分支。 跨模态检索训练过程中所有模态的数据都存在，但在测试过程中只有一种模态可用。 挑战：如何度量不同模态数据之间的内容相似性，也称之为异质鸿沟问题。 二、分类 基于实值表示学习：提升跨模态语义相关性，进而提高跨模态检索准确度。 基于二进制表示学习：提升跨模态图文检索效率，减少
一文搞懂多模态检索和跨模态检索
最新发布
m0_59164304的博客
04-08 883
多模态检索（Multi-Modal Retrieval）强调*多源信息整合，**利用文本、图像、音频、视频等多种模态数据**进行**信息整合与检索**。其目标是**通过不同模态数据的互补性，提供更全面、精确的搜索结果**。例如，当用户输入“落霞与孤鹜齐飞，秋水共长天一色”这样的诗句时，系统能够返回相关的图片、视频片段和音频解说。***相比之下，跨模态检索（Cross-Modal Retrieval）则更加专注于跨模态的语义关联，使用某一模态的信息查询检索另一模态的结果。例如，用文本搜索图片**（文搜图）、用
跨模态检索论文泛读：VisualSparta-利用加权的词袋进行大规模的文本到图像的检索
zag666的博客
05-10 793
VisualSparta，一个高效的跨模态检索模型，同时保证检索精度； 该模型结合了预训练编码器和细粒度级别的打分方式； 大规模的图像倒排索引使得检索非常高效，适合现实场景的跨模态检索。
CVPR论文 | 所见所想所找：基于生成模型的跨模态检索 ...
测试0901-1
02-20 974
〔小叽导读〕：视觉-文本跨模态检索已经成为计算机视觉和自然语言处理领域结合的一个热点。对于跨模态检索而言，如何学到合适的特征表达非常关键。本文提出了一种基于生成模型的跨模态检索方法，该方法可以学习跨模态数据的高层次特征相似性，以及目标模态上的局部相似性。本文通过大量的实验证明了所提出的方法可以准确地匹配图像和文本，并且在MSCOCO以及Flickr3...
跨模态检索CM-GANs: Cross-modal Generative AdversarialNetworks for Common Representation Learning
m0_38102073的博客
02-27 1482
核心思想：   这篇论文主要是通过对抗训练文本和图像，是它们学习到共同的特征表示。本论文由四个对抗训练过程组成（详细看损失函数）。图像自身的对抗网络，文本自身的对抗网络，图像对文本的对抗网络、文本对图像的对抗网络。   图像自身的对抗网络：通过图像卷积学习到到特征向量（不是最终的特征表示，论文中为hi），作为真实数据，重建（也就是decode过程）的特征向量(论文中为ri)作为假数据，来构建对...
跨模态检索：基于OpenAI的Clip预训练模型构建以文搜图系统
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
08-25 6095
本项目基于OpenAI的Clip预训练模型及milvus向量数据库两个关键技术，构建了以文搜图的跨模态检索系统；经过Clip模型编码后每个图片输出向量维度为768，存入milvus向量数据库；为保证图像检索的效率，通过脚本在milvus向量数据库中构建了向量索引。此项目可作为参考，在实际开发类似的以图搜图项目中直接使用。
《跨模态检索Survey》
uestc_huhu的博客
03-13 283
2.overview 跨模态搜索的两种方式： （1）真实值的表示学习 learned common representations for various modalities of data are real-valued. 2.According to the information utilized to learn the common representation, the cross-modal retrieval methods can be further divided into fo
跨模态检索综述A Survey of Full-Cycle Cross-Modal Retrieval: From a Representation Learning Perspective
zag666的博客
08-26 2443
图1.跨模态检索中的问题和挑战。
跨模态检索最新高质量综述《Image-text Retrieval: A Survey on Recent Research and Development》
zag666的博客
06-17 1万+
本文从四个方面对ITR方法进行了全面和最新的调查。通过将ITR系统剖析为两个过程：特征提取和特征对齐，我们从这两个角度总结了ITR方法的最新进展。在此基础上，对ITR系统的效率研究作为第三个角度进行了介绍。为了与时俱进，我们还从第四个角度对跨模态预训练的ITR方法进行了开创性的概述。最后，我们概述了ITR的通用基准数据集和评估指标，并对有代表性的ITR方法进行了准确性比较。本文最后还讨论了一些关键但研究不多的问题。
跨模态检索综述
qq_40905284的博客
05-30 3811
跨模态检索问题综述
图片/文字/视频跨模态检索综述
datayx的文章
07-21 2368
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx0 引言在过去的二十几年里，不同类型的媒体数据如文 本、图像和视频迅速增长。通常，这些...
跨模态检索论文阅读：Context-Aware Attention Network for Image-Text Retrieval
zag666的博客
04-10 1657
图像-文本双向检索在很大程度上依赖于每个图像-文本对的联合嵌入学习和相似性度量。先前的工作很少同时探索模态之间的语义对应和单一模态的语义关联。在这项工作中，我们提出了一个统一的上下文感知注意力网络工作（CAAN），它通过聚合全局上下文有选择地关注关键的局部片段（区域和单词）。具体来说，它同时利用全局模态间的对齐和模态内的关联来发现潜在的语义关系。考虑到检索过程中图像和句子之间的相互作用，模内关联来自于对区域-词排列的二阶关注，而不是直观地比较原始特征之间的距离。
跨模态检索论文阅读：Learnable Pillar-based Re-ranking for Image-Text Retrieval(LeadRR)基于可学习支柱的图像文本检索重排
zag666的博客
01-07 2098
图像-文本检索旨在弥合模态鸿沟，根据语义相似性检索跨模态内容。之前的工作通常侧重于成对关系（即一个数据样本是否与另一个样本匹配），但忽略了高阶邻接关系（即多个数据样本之间的匹配结构）。重新排序是一种流行的后处理方法，它揭示了在单模态检索任务中捕捉邻接关系的优越性。然而，将现有的重新排序算法直接扩展到图像文本检索中效果并不理想。本文从泛化性、灵活性、稀疏性和不对称性四个角度分析了原因，并提出了一种新颖的基于可学习支柱的重新排序范式。
Cross-modal Video Moment Retrieval（跨模态视频时刻检索综述）
nakaizura
07-13 1万+
这个方向的出的文章已经有很多了，但是似乎还没有一个统一一点的名字，叫 时域语言定位（Temporally Language Grounding），或者跨模态视频时刻检索/定位（Cross-modal Video Moment Retrieval/Localization）等等都有。 大概给一个定义就是：给定一句自然语言描述的查询语句query，在未剪裁的完整视频中确定该描述发生的时间片段（起始时间，终止时间），简单来讲如上图，就是用一段文字查询具体的视频片段。它与纯的动作定位任务不同之处在于多了跨模态（文.
跨模态检索研究进展综述【跨模态检索的核心工作在于：①不同模态数据的特征提取、②不同模态数据之间内容的相关性度量】【主流研究方法：基于传统统计分析的技术、基于深度学习的技术】【哈希编码提高检索速度】
u013250861的博客
01-18 9356
随着互联网上多媒体数据的爆炸式增长,单一模态的检索已经无法满足用户需求,跨模态检索应运而生. 跨模态检索旨在以一种模态的数据去检索另一种模态的相关数据。 跨模态检索的核心任务是：数据特征提取 和 不同模态数据之间内容的相关性度量。 文中梳理了跨模态检索领域近期的研究进展,从以下角度归纳论述了跨模态检索领域的研究成果.： 传统方法； 深度学习方法； 手工特征的哈希编码方法； 深度学习的哈希编码方法 在此基础上,对比分析了各类算法在跨模态检索常用标准数据集上的性能。最后,分析了跨模态检索研究存在的问题,并对
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值