三模态的对比损失(InfoNCE&互信息推导)

最新推荐文章于 2025-04-17 08:57:23 发布

Quanato

最新推荐文章于 2025-04-17 08:57:23 发布

阅读量765

点赞数 6

文章标签：人工智能机器学习深度学习

本文链接：https://blog.youkuaiyun.com/weixin_73784868/article/details/134859503

版权

本文探讨了通过结合大脑、视觉和语言特征的多模态学习方法来解读视觉神经表示，关注最终损失如何由不同模态的组合决定，特别是当组合中包含至少一个负样本时的负样本损失计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

I为互信息

最终的损失为三种模态的排列组合,只要包含一个负样本即为负样本损失

原文来自:

Decoding Visual Neural Representations by Multimodal Learning of Brain-Visual-Linguistic Features(https://arxiv.org/pdf/2210.06756.pdf)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Quanato

关注关注

6
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

多模态大模型：技术原理与实战全球多模态大模型介绍

AI天才研究院

06-11

2108

关键词：多模态大模型、深度学习、计算机视觉、自然语言处理、跨模态学习、迁移学习、人工智能随着人工智能技术的飞速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。多模态大模型能够同时处理和理解多种类型的数据，如文本、图像、音频和视频等，这为AI系统在复杂场景下的应用提供了更加强大和灵活的能力。本文将深入探讨多模态大模型的技术原理，介绍其实战应用，并对全球主要的多模态大模型进行全面的介绍和比较。

对比学习原理与代码实战案例讲解

AI天才研究院

05-30

1047

对比学习原理与代码实战案例讲解 1.背景介绍 1.1 对比学习的定义和重要性对比学习(Contrastive Learning)是一种自监督表示学习范式,旨在从未标记的数据中学习有用的表示。它通过最大化相似样本之间的相似性,同时最小化

参与评论您还未登录，请先登录后发表或查看评论

infoNCE损失和互信息的关系

weixin_43845922的博客

09-12

2153

都是从数据中采样得到的。但在推导互信息时，我们通常计算的是所有可能的样本对上的平均值，而不仅仅是单一的样本对。因此，将相似度函数视为联合概率对数的依据源于能量基模型的思想，即通过能量（或相似度）函数衡量样本间的匹配程度，然后使用指数函数将其转换为概率分布。通过 InfoNCE 损失对正样本对进行优化，本质上就是在最大化这些正样本对的互信息，因此引入期望是为了与互信息的定义保持一致。因此，InfoNCE 损失通过最大化正样本对的联合概率和最小化负样本对的边缘概率，从而实现对正样本和负样本之间互信息的优化。

自监督、对比学习、contrastive learning、互信息、infoNCE等

The smart is sexy

11-16

1万+

对比学习是自监督的一种，现在很火。自监督属于无监督的一种，即没有标记数据，相当于 cluster 聚类来判断物体类别（所以在label少的时候，unsupervised learning可以帮助我们学到data本身的high-level information，这些information能够对downstream task有很大的帮助。）理解对比学习，首先需要理解 互信息 ，因为只有知道了，我们需要加大什么互信息，才能更好的设计正负样本，从而利用对比学习来设计任务提高。 互信息 [苏神] 好特征的基

深入解析 InfoNCE Loss：对比学习的基石（是在什么背景下提出来的？）

阿正的梦工坊

03-29

945

在《Contrastive Predictive Coding (CPC)》论文中，作者将其用于无监督表示学习，目标是让模型从高维数据中提取有用的表示。简单来说，InfoNCE Loss 的核心思想是：通过对比正样本和一组负样本，训练模型区分“相关”和“不相关”的数据对，从而捕获数据的深层语义信息。

两种对比学习损失：contrastive loss 和 infoNCE loss

weixin_47032489的博客

01-22

5631

总的来说，对比损失和infoNCE损失都是有效的对比学习方法，可以用于无监督学习任务。选择使用哪种损失函数取决于具体的任务和模型结构，以及对样本相似性度量的需求。对比损失（contrastive loss）和信息最大化非条件估计损失（infoNCE loss）是两种常用于对比学习的损失函数。

分享：互信息在对比学习中的应用

莫彩的博客

11-13

2802

对比学习常见的loss，但是为什么是这样？比如softmax或者lr这样的模型，其问题假设与目标存在清晰的推导关系。即，为什么使用这样的激活，这样的loss函数，最终我们都能在GLM理论中找到依据。正例比较近，负例比较远，那这个呢（refer DGI;2019 ICLR）？

对比学习损失—InfoNCE理论理解

qq_42208244的博客

08-18

1万+

对比学习损失函数

InfoNCE：在特征空间中，正样本和负样本的拔河比赛 —— 从对比学习到多模态融合的全解析

最新发布

进一步有进一步的欢喜~

04-17

1182

在无监督学习与自监督学习的技术版图中，InfoNCE（Noise-Contrastive Estimation for Neural Networks）损失函数如同基石般重要。它通过对比正、负样本的巧妙设计，让模型在缺乏标注数据的情况下，能够自主学习到数据的语义结构和判别性特征。本文将从基础原理、数学推导、代码实现到实际应用场景进行拆解，帮助大家深入理解对比学习技术大图。

【2025算法面试通关】【二.机器学习-无监督学习】【15. 对抗生成网络（GAN）的纳什均衡分析和自监督学习中对比学习方法的面试题及答案】

商务合作|问题讨论|交流学习请联系作者微信，加微信请务必注明来意，博客主页有联系方式

04-09

195

生成器生成逼真样本，判别器区分真假样本，最终达到纳什均衡，即D无法区分真假，G生成样本分布与真实数据一致。：InfoNCE（Noise-Contrastive Estimation）最大化正样本对的相似度，最小化负样本对的相似度。：通过最大化正样本对（同一数据的不同视图）的相似度，最小化负样本对（不同数据的视图）的相似度，学习数据的判别性表示。：将编码器输出的特征映射到对比学习空间，通过非线性变换提升特征的可区分性，避免特征空间过于平滑。：对比学习通过最大化正样本对的互信息，学习数据的高维表示。

港大联合微信推出DiffMM：扩散模型重塑多模态推荐系统的全新范式

Paper weekly

07-17

1134

香港大学黄超教授领导的数据智能实验室，与微信研发团队联合开发了一种基于扩散模型的全新多模态推荐系统范式 - DiffMM。这项创新性成果融合了扩散模型技术，能够有效利用多种模态数据，为用户提供个性化、精准的多媒体内容推荐服务。论文标题：DiffMM: Multi-Modal Diffusion Model for Recommendation论文链接：https://arxiv.org/abs/2...

Learning Progressive Modality-shared Transformers for Effective Visible-Infrared Person Re-id

JJxiao520的博客

07-11

911

在本文中，我们提出了一种新的基于深度学习的框架PMT，该框架通过充分挖掘可靠的模态变量特征，有效地提高了VI ReID的性能。以灰度图像作为辅助模态，我们的框架通过渐进学习策略缓解了RGB-IR模态之间的巨大差距。同时，我们提出的MSEL和DCL可以有效地提取更可靠和更具判别力的特征，带来更强的性能和鲁棒性。此外，所提出的方法具有很好的推广性。通过将我们的方法应用于基于CNN的主干网，它们也可以带来显著的性能改进。在两个公共VI ReID基准上的实验结果验证了我们提出的框架的有效性。

对比学习MoCo损失函数infoNCE理解（附代码）

热门推荐

weixin_43570470的博客

02-20

1万+

对比学习MoCo损失函数infoNCE理解

我想简单的写写nce和infonce

lily's world

05-18

4797

推荐系统中的各个模型对比学习损失InfoNCE的具体实现方法

baidu_41810561的博客

11-07

2115

推荐系统模型中的对比学习实践用法

超大规模分类（二）：InfoNCE

Jamence的博客

01-05

1060

结合噪声对比估计（Noise Contrastive Estimation，NCE）的思想，通过互信息（Mutual Information）最小化来优化大规模分类任务，2019年，DeepMind的研究人员提出。

Noise-contrastive Estimation（NCE）学习

Vac的博客

03-13

1559

作为现今主流自监督对比学习使用的对比损失(InfoNCE)的源头，感到学习Noise-contrastive Estimation（NCE）的重要性。原文很有意思，但目前很多讲解NCE的文章大都从NLP出发，这似乎无法让人清晰地看到NCE的巨大力量，事实上，NCE的理论意义应当不止于NLP。此外，还有一些写的好的讲解文章有大量公式，对于这些公式，不自己一步一步推导是无法体悟其中精髓的。因此，我打算撰写该文，尽量还原原文，逼迫自己逐行体悟其中精髓，并整理成材料，供自己加深理解。

Hybrid Contrastive Learning of Tri-Modal Representation for Multimodal Sentiment Analysis

自己在学习过程中的总结

09-23

1052

在多模态情感分析领域，以往的大多数研究都侧重于探索模态内和模态间的交互。然而，由于模态之间的差距，利用跨模态信息（语言、音频和视频）训练网络仍然具有挑战性。此外，虽然每个样本内的动态学习备受关注，但样本间和类间关系的学习却被忽视。（如何学习到多模态数据有意义的表征？）作者提出了一种新型框架 HyCon，用于三模态表征的混合对比学习。具体来说，同时进行模态内、模态间对比学习和半对比学习，这样模型就能充分探索跨模态交互，学习样本间和类间关系，缩小模态差距。此外，还引入了细化项和模态边界，以便更好地学习单模态配对

详解常用的对比学习损失

weixin_47129891的博客

07-11

7517

对比学习损失函数用于在无监督或半监督的情况下学习数据表示，使得相似的数据样本在表示空间中更加接近，而不相似的样本更远离。