Probabilistic Embeddings for Cross-Modal Retrieval

最新推荐文章于 2024-09-10 19:21:25 发布
原创 最新推荐文章于 2024-09-10 19:21:25 发布 · 1.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

该研究提出了PCME（跨模态概率嵌入）方法，旨在解决一对多的对应关系问题。通过将样本表示为概率分布，PCME能够在视觉和文本嵌入中捕捉数据的固有不确定性。它包括视觉-文本联合嵌入、单域HIB（hedged instance embedding）和跨域PCME，其中涉及软对比损失、概率匹配和多样性处理。实验结果表明，这种方法能够产生更丰富的嵌入空间并有效处理不确定性。
最低0.47元/天 解锁文章
Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression（第二篇优质论文分享）
Seven597的博客
07-12 282
对不确定性数据进行建模
论文笔记：Probabilistic Embeddings for Cross-Modal Retrieval
missgrass的博客
11-30 1106
跨模态检索的概率嵌入摘要介绍方法Joint visual-textual embeddings结论 摘要 跨模态检索方法为来自多个模态（通常来自视觉和语言域）的样本构建公共表示空间。对于图像及其标题，通信的多样性使任务特别具有挑战性。给定一个图像（分别是标题），有多个标题（分别是图像）同样有意义。在本文中，我们认为确定性函数不足以捕捉这种一对多对应关系。相反，我们建议使用概率交叉模态嵌入（PCME），其中来自不同模态的样本表示为公共嵌入空间中的概率分布。由于COCO等常见基准测试存在跨模态匹配的非穷举注释问
【论文阅读】Probabilistic Embeddings for Cross-Modal Retrieval CVPR 2021 --- 跨模态检索，概率嵌入，一对多，多对多匹配
me_yundou的博客
03-22 2847
CVPR 2021 论文 Probabilistic Embeddings for Cross-Modal Retrieval 阅读笔记。 本博客非论文的逐字逐句翻译，乃博主阅读论文之后根据自己的理解所写，预知详情，请参阅论文原文。
Probabilistic Embeddings for Cross-Modal Retrieval 论文阅读
weixin_44609958的博客
09-10 1771
跨模态检索方法通过为来自多个模态的样本构建一个公共表示空间，通常涉及视觉和语言领域。对于图像及其对应的文字说明，由于其对应关系的多样性，这项任务尤其具有挑战性。给定一个图像（或文字说明），可能有多个文字说明（或图像）同样合理。在本文中，我们认为确定性函数不足以捕捉这种一对多的对应关系。相反，我们提出使用概率跨模态嵌入（PCME），在这种方法中，来自不同模态的样本被表示为公共嵌入空间中的概率分布。
【论文翻译】PERFECT MATCH: IMPROVED CROSS-MODAL EMBEDDINGS FOR AUDIO-VISUAL SYNCHRONISATION
页页读
01-01 1194
PERFECT MATCH: IMPROVED CROSS-MODAL EMBEDDINGS FOR AUDIO-VISUAL SYNCHRONISATION 超匹配：改进了用于音频-视频合成的跨地带调制 摘要： 本文提出了一种学习音频到视频同步的强大跨模态嵌入的新策略。在这里，我们将问题设置为跨模态检索，其中目标是找到给定短视频剪辑的最相关的音频片段。该方法建立在跨模态自我监督学...
Cross-Modal Retrieval
qq_41831542的博客
10-19 1838
@[TOC]Paper with notes on Cross-Modal Retrieval Background 这里研究的跨模态检索主要是图像-文本匹配(Image-Text Matching)。跨模态检索模型的输入是两种模态信息（图片和句子），输出是他们的相似度。继而利用模型在一堆图片/句子中挑出与待查询句子/图片最匹配的结果。因此评价指标也通常有Text-Retrieval 和 Image Retrieval两个方面。跨模态检索后的结果为图1所示。 Mainstream Methods SOT
Exposing and Mitigating Spurious Correlations for Cross-Modal Retrieval暴露和减轻跨模态检索的虚假相关性
Mars_prime的博客
12-13 1672
模式检索方法是在数据库中搜索与查询图像最匹配的文本的首选工具，反之亦然。然而，图像文本检索模型通常学习记住训练数据中的虚假相关性，例如频繁的对象共现，而不是查看图像中预测的实际根本原因。对于图像文本检索，这体现在提及查询图像中不存在的对象的检索句子中。在这项工作中，我们引入了 ODmAP@k，一种对象去相关度量，用于衡量模型对训练数据中的虚假相关性的鲁棒性。我们使用自动图像和文本操作来控制指定测试数据中此类对象相关性的存在。
【CVPR2019】完整论文列表二
TomRen
06-11 8316
CVPR 2019 Paper list[1001-1294] CVPR2019 完整列表一 论文题目与链接 Semantic Component Decomposition for Face Attribute Manipulation R3 Adversarial Network for Cross Model Face Recognition Disentan...
【论文阅读】Polysemous Visual-Semantic Embedding for Cross-Modal Retrieval 多义性 视觉-语义编码 跨模态检索 视频 图像 文本
me_yundou的博客
11-22 919
论文阅读，CVPR 2019 论文：Polysemous Visual-Semantic Embedding for Cross-Modal Retrieval，本博客系博主根据个人理解所写，非逐字逐句翻译，预知详情，请参阅论文原文。
Polysemous Visual-Semantic Embedding for Cross-Modal Retrieval
HYY233的博客
12-13 1321
Polysemous Visual-Semantic Embedding for Cross-Modal Retrieval 解决问题：（1）单射嵌入（injective embedding）。当个别实例中存在歧义时，单射嵌入可能会受到影响。考虑一个具有多重含义/意义的模糊实例，例如，多义词和包含多个对象的图像。虽然每个意义/意义都可以映射到嵌入空间中的不同点，但是单射嵌入总是被迫找到一个点，这...
论文阅读：Polysemous Visual-Semantic Embedding for Cross-Modal Retrieval
Chris Blog
04-10 2376
多义词的视觉语义的嵌入式交叉检索 项目地址 摘要 视觉嵌入的目标是找到一个共享的空间，在这个空间中相关的视觉和文本彼此之间比较接近。当前大多数方法都学习将实例映射到共享空间中单个点的内嵌式嵌入函数（映射是一对一的）。不幸的是，内射式嵌入不能有效地处理具有多种可能含义的多义词实例。最好情况下，它只能找到不同含义的平均的表达。这阻止了它在真实场景中的使用，它们的跨模态的联系也经常是模糊的。 在这项工作...
Adversarial Cross-Modal Retrieval
11-27
基于对抗的跨媒体检索Cross-modal retrieval aims to enable flexible retrieval experience across different modalities (e.g., texts vs. images). The core of crossmodal retrieval research is to learn a common subspace where the items of different modalities can be directly compared to each other. In this paper, we present a novel Adversarial Cross-Modal Retrieval (ACMR) method, which seeks an effective common subspace based on adversarial learning. Adversarial learning is implemented as an interplay between two processes. The first process, a feature projector, tries to generate a modality-invariant representation in the common subspace and to confuse the other process, modality classifier, which tries to discriminate between different modalities based on the generated representation. We further impose triplet constraints on the feature projector in order to minimize the gap among the representations of all items from different modalities with same semantic labels, while maximizing the distances among semantically different images and texts. Through the joint exploitation of the above, the underlying cross-modal semantic structure of multimedia data is better preserved when this data is projected into the common subspace. Comprehensive experimental results on four widely used benchmark datasets show that the proposed ACMR method is superior in learning effective subspace representation and that it significantly outperforms the state-of-the-art cross-modal retrieval methods.
crossModalRetrieval:原始码-学习
03-23
crossModalRetrieval:原始码-学习
概率人脸嵌入（一）
blueblood7的专栏
08-06 675
论文：“Probabilistic Face Embeddings” 1、大致流程是，先训练模型，再固定模型参数，finetune不确定性分支，损失是相同人之间的MLS越大越好。 1a、不确定性分支由两个全连接层构成，详见： 1b、MLS 指mutual likelihood score，具体公式如下： 1c、损失函数如下： 2、加入不确定性的特征融合。不确定性和质量成反比，当不同维度的不确定性相同，即退化成按质量的特征融合。 ...
论文阅读：Adversarial Cross-Modal Retrieval对抗式跨模式检索
zag666的博客
03-09 2665
对抗性跨模态检索（ACMR）方法，它在对抗性学习的基础上寻求有效的共同子空间。对抗性学习是作为两个过程的相互作用来实现的。第一个过程，一个特征映射器，试图在公共子空间中生成一个模态不变的表示，并混淆另一个过程，即模态分类器，它试图根据生成的表示来区分不同的模态。我们进一步对特征映射器施加三重约束，以使具有相同语义标签的不同模态项的表示之间的差距最小化，同时使语义不同的图像和文本之间的距离最大化。
CVPR2022论文速递（2022.4.13）！共17篇！GAN/transformer/多模态等
zero的博客
04-13 1825
整理：AI算法与图像处理CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo欢迎关注：大家好,最近正在优化每周分享的CVPR论文, 目前考虑按照不同类别去分类,方便不同方向的小伙伴挑选自己感兴趣的论文哈欢迎大家留言其他想法, 合适的话会采纳哈!求个三连支持一波哈Update...
Cross-Modal Retrieval——为什么要使用GAN呢？
墨门
11-12 1186
1 致谢 感谢于教授给我发的几篇论文，感到打开了一个新世界！ 2 前言 今天在学习 Cross-Modal Retrieval～ 在看文章的时候，看到有些比较新的文章是用GAN来做 Cross-Modal Retrieval，感觉到很奇怪， 为什么跨模态检索要用到GAN呢？ 从我的直觉看来，不是只要生成合适的本征向量表示两种模态之间的距离就行了吗？ 为啥要要用GAN模型呢？ 然后在网上查找...
AAAI 2024 | 中科院信工所提出结构化概率编码框架，有效增强预训练语言模型泛化能力
weixin_43564920的博客
01-21 1324
是 的先验 的估计。变分近似后验 是一个具有对角协方差结构的多元高斯分布，即 ，其中 和 分别代表均值和对角协方差，它们的参数都是依赖于输入的，并由一个多层感知机（MLP，具有单隐藏层的全连接神经网络）预测。与现有的应用编码器-解码器架构的概率嵌入方法不同，我们的编码器模型可以有效地保留与任务相关的特征，并避免概率化编码过程中的随机性和不确定性带来的负面影响。在假设 ，对应于马尔可夫链 的前提下，我们的目标是最小化输入 和潜在表示 之间的互信息，同时最大化表示 与目标标签 之间的信息。
（跨模态检索综述）A Comprehensive Survey on Cross-modal Retrieval
HYY233的博客
12-13 5244
A Comprehensive Survey on Cross-modal Retrieval Kaiye Wangy, Qiyue Yiny, Wei Wang, Shu Wu, Liang Wang∗, Senior Member, IEEE 1. 研究现状： 目前跨模态检索主要分为两种方法：(1)real-valued表示学习；(2)binary表示学习。Real-valued表示学习...
Diffusion Probabilistic Priors for Zero-Shot Low-Dose CT Image Denoising复现
最新发布
10-18
要复现论文'Diffusion Probabilistic Priors for Zero-Shot Low-Dose CT Image Denoising'的相关内容，可以从以下几个方面着手： ### 理解论文核心内容 论文可能围绕扩散概率先验在零样本低剂量CT图像去噪中的应用...
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二苏旧局吖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值