InfoNce损失

已于 2024-11-10 10:48:31 修改
阅读量2.5k 收藏 21
点赞数 11
CC 4.0 BY-SA版权
分类专栏： 深度学习论文相关小知识点 文章标签： 机器学习 人工智能 算法
于 2024-10-25 20:07:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/buyaotutou/article/details/143242814

系列博客目录

文章目录

InfoNCE 损失（Information Noise Contrastive Estimation）是一种对比学习的损失函数，用于最大化正样本（匹配样本）之间的互信息，同时将负样本（不匹配样本）拉开距离。它最早由 Oord 等人在 2018 年提出，用于无监督学习的自监督表示学习。InfoNCE 损失通过以下方式运作：

1. 基本原理

InfoNCE 损失的目标是通过最大化互信息来区分匹配和不匹配的样本对。假设我们有一个输入样本（如图像）以及其对应的正样本（如文本描述），InfoNCE 会拉近匹配的图像-文本对的嵌入距离，并将不匹配对的嵌入拉远。为了实现这一点，InfoNCE 损失函数对一对正样本（即匹配对）和多个负样本进行对比，通过多分类交叉熵的形式来估计它们之间的相似度。

2. 数学定义

假设我们有一个图像 ( I ) 和其对应的文本 ( T )，InfoNCE 损失的公式为：

L InfoNCE = − log ⁡ exp ⁡ ( sim ( I , T ) / τ ) ∑ k = 1 K exp ⁡ ( sim ( I , T ~ k ) / τ ) \mathcal{L}_{\text{InfoNCE}} = - \log \frac{\exp(\text{sim}(I, T)/\tau)}{\sum_{k=1}^{K} \exp(\text{sim}(I, \tilde{T}_k)/\tau)} LInfoNCE​=−log

最低0.47元/天 解锁文章

200万优质内容无限畅学
InfoNCE损失
超大青花鱼的博客
07-16 2063
InfoNCE损失基于噪声对比估计的思想，用于训练模型来区分正样本对和负样本对。
对比学习损失函数 - InfoNCE
进一步有进一步的欢喜~
01-05 1934
InfoNCE（Information Noise-Contrastive Estimation）损失函数通过从一组负样本中区分出正样本对，指导模型学习有意义的数据表示。它利用温度参数调整相似度分布，确保正样本对的相似度远高于所有负样本。该方法在SimCLR、MoCo等框架中广泛应用，显著提升了无监督和自监督学习的表现，成为构建高效深度学习模型的关键工具。
InfoNCE损失介绍
Vicky
03-05 1038
InfoNCE（Information Noise Contrastive Estimation）损失是一种常用的损失函数，广泛应用于自监督学习和对比学习的任务中，尤其是在表示学习领域。其核心思想是通过最大化真实数据与噪声样本之间的区别来学习有意义的表示。
InfoNCE 损失(少见却非常重要的一个损失函数，CLIP等多模态模型经常使用)
最新发布
qq_43664407的博客
06-13 1103
下面从背景动机、数学形式、直观理解、优化目标、典型应用和实现要点等方面，详细介绍 InfoNCE 损失，实际上 InfoNCE 就是一次特殊的交叉熵分类任务。
对比学习系列（一）---InfoNce损失理解+MoCo伪代码
qq_44674201的博客
05-22 3181
InfoNce损失的理解（面经必备）和MoCo主网络的实现
推荐系统笔记（十）：InfoNCE Loss 损失函数
热门推荐
qq_46006468的博客
07-30 3万+
InfoNCELoss是为了将N个样本分到K个类中，K
infoNCE损失和互信息的关系
weixin_43845922的博客
09-12 2256
都是从数据中采样得到的。但在推导互信息时，我们通常计算的是所有可能的样本对上的平均值，而不仅仅是单一的样本对。因此，将相似度函数视为联合概率对数的依据源于能量基模型的思想，即通过能量（或相似度）函数衡量样本间的匹配程度，然后使用指数函数将其转换为概率分布。通过 InfoNCE 损失对正样本对进行优化，本质上就是在最大化这些正样本对的互信息，因此引入期望是为了与互信息的定义保持一致。因此，InfoNCE 损失通过最大化正样本对的联合概率和最小化负样本对的边缘概率，从而实现对正样本和负样本之间互信息的优化。
对比学习中的InfoNCE损失函数：从数学原理到工程实践的核心指南（附行业效果）
燃灯工作室
02-21 976
通过实验验证，当在工业级数据集上使用最优参数时，InfoNCE相比传统Triplet Loss可获得平均23%的性能提升（NMI指标）。经典案例：当τ趋近于0时，等价于one-hot分类；A：可采用memory bank机制（如MoCo方案），将历史批次特征存入队列。A：推荐使用预训练模型+finetune方法，可采用KNN等特征评估方式。A：当τ小时对困难样本关注度高，τ大时更关注全局分布特性。核心本质：基于噪声对比估计（NCE）的变体，通过。Q：在小数据集上的效果保障？Q：温度参数τ的物理意义？
对比学习（二）-模型坍塌-infoNCE损失函数
世上再无张显宗
06-15 1万+
对比学习的基本源理，包括损失函数及其超参数的设置。
InfoNCE Loss公式及源码理解
日拱一卒，功不唐捐
11-21 3万+
−1N∑i1Nlog⁡exp⁡qi⋅kiτ∑j1Nexp⁡qi⋅kj−τ−N1​i1∑N​log​∑j1N​expτqi​⋅kj−​​expτqi​⋅ki​​​​NNN是样本的数量qiq_iqi​是查询样本iii的编码向量kik_{i+}ki​是与查询样本iii相对应的正样本的编码向量ki−k_{i-}ki−​是与查询样本i。
【蒸馏用损失】InfoNCEloss介绍。当忽略温度系数τ时，InfoNCE 等价于交叉熵。对比学习通过数据增强构建对比任务，利用损失函数驱动模型区分相似性，广泛应用于无监督/自监督场景
Hali_Botebie的博客
04-01 1546
InfoNCE Loss 是 NCE Loss 的高阶泛化，通过引入多分类对比和温度系数，更适合现代自监督学习任务。两者均基于噪声对比思想，但 InfoNCE Loss 在灵活性和性能上更优。二分类（数据 vs 噪声）：适用于显式噪声分布的简化场景，计算效率高但灵活性低。多分类（正样本 vs 负样本）：更适合自监督学习，通过动态采样和softmax优化特征空间判别性。如需进一步探讨具体任务（如NLP或CV中的应用），可补充说明场景。
对比学习 | 对比学习损失（InfoNCE loss）与交叉熵损失的联系 温度系数的作用
"You are worthy! You can do it!"
03-03 2万+
Info NCE loss是NCE的一个简单变体，它认为如果你只把问题看作是一个二分类，只有数据样本和噪声样本的话，可能对模型学习不友好，因为很多噪声样本可能本就不是一个类，因此还是把它看成一个多分类问题比较合理（但这里的多分类 k 指代的是负采样之后负样本的数量，下面会解释）。唯一的区别是，在cross entropy loss里，k指代的是数据集里类别的数量，而在对比学习InfoNCE loss里，这个k指的是负样本的数量。温度系数τ虽然只是一个超参数，但它的设置是非常讲究的，直接影响了模型的效果。
对比学习和自监督学习中的InfoNCE损失
qq_39815859的博客
12-24 1987
InfoNCE（Noise Contrastive Estimation）和交叉熵损失都是两个关键的概念。它们不仅在衡量概率分布之间的差异方面发挥着重要作用，而且在深度学习的自监督学习领域扮演着重要角色。虽然它们的形式和应用环境有所不同，但是我们可以发现它们之间存在着微妙的联系。InfoNCE Loss（Noise Contrastive Estimation Loss）是一种用于自监督学习的损失函数，通常用于学习特征表示或者表征学习。它基于信息论的思想，通过对比正样本和负样本的相似性来学习模型参数。
对比学习损失—InfoNCE理论理解
qq_42208244的博客
08-18 1万+
对比学习损失函数
对比学习InfoNCE损失函数详解（附代码）：以推荐系统用户和商品编码为例
weixin_44517742的博客
04-25 3114
相似度矩阵在每一行做softmax可以理解成分类问题里的概率：给定一个未扰动编码用户i，有其余32个扰动后的用户编码，判断扰动矩阵中某元素为用户i的概率。相似度矩阵的对角线是正确答案，这个对角线上的值越大，就说明模型特征的辨识度越好。是常用的对比学习损失，现有两个矩阵X（未扰动的用户矩阵）和X‘（扰动后的矩阵），两个矩阵每行一一对应相同的用户。点乘反映着两个向量的“相似度”，两个向量越“相似”，它们的点乘越大。会加入随机扰动的步骤，即在经过每一层的时候生成随机的噪音。是用户i的扰动的编码。
RINCE ------- 对比损失（InfoNCE）升级版
weixin_73784868的博客
12-14 2546
对比学习依赖于一个假设，即正对包含相关视图，例如，图像的补丁或视频的多模态信号，它们共享有关实例的某些基础信息。但是，如果这个假设被违反呢？文献表明，对比学习在存在嘈杂视图的情况下会产生次优表征，例如，没有明显共享信息的假阳性对。在这项工作中，我们提出了一种新的对比损失函数，该函数对嘈杂的视图具有鲁棒性。我们通过显示与噪声二元分类的鲁棒对称损失的联系，以及通过基于Wasserstein距离测量的互信息最大化建立新的对比界，提供了严格的理论论证。
两种对比学习损失：contrastive loss 和 infoNCE loss
weixin_47032489的博客
01-22 5784
总的来说，对比损失和infoNCE损失都是有效的对比学习方法，可以用于无监督学习任务。选择使用哪种损失函数取决于具体的任务和模型结构，以及对样本相似性度量的需求。对比损失（contrastive loss）和信息最大化非条件估计损失（infoNCE loss）是两种常用于对比学习的损失函数。
损失函数交叉熵、均方差MSE；反向传播、梯度下降； InfoNCE、kl散度与交叉熵损失
weixin_42357472的博客
05-08 4309
激活函数与损失函数关系 激活函数先进行0-1区间，再输入损失函数与label进行误差计算，最后反向传播 常用交叉熵的原因 A)、原因在于交叉熵函数配合输出层的激活函数如sigmoid或softmax函数能更快地加速深度学习的训练速度 B)、因为反向传播过程中交叉熵损失函数得到的结果更加简洁，无论sigmoid或softmax，可以定量分析。 1、sigmoid（二分类、多标签） 2、softmax（多分类，概率和为1） Sigmod本质上是Softmax的特殊情况 3、交叉熵（分类）、均方差（回
infoNCE损失python
03-25
### infoNCE Loss 的背景与实现 InfoNCE（Information Noise Contrastive Estimation）是一种用于对比学习的损失函数，广泛应用于自监督学习领域。它通过最大化正样本对之间的相似度并最小化负样本对之间的相似度来训练模型[^3]。 #### InfoNCE 损失函数定义 InfoNCE 损失可以表示为以下形式： \[ L_{\text{infoNCE}} = - \mathbb{E}_{(i,j) \sim p(i,j)} \left[ \log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k=1}^{K}\exp(\text{sim}(z_i, z_k)/\tau)} \right] \] 其中 \(z_i\) 和 \(z_j\) 是两个嵌入向量，\(p(i,j)\) 表示正样本对的概率分布，\(\tau\) 是温度参数控制分布的锐利程度，\(\text{sim}(a,b)\) 通常指余弦相似度或欧几里得距离[^4]。 以下是基于 PyTorch 实现的一个简单版本的 InfoNCE 损失函数： ```python import torch import torch.nn.functional as F def infonce_loss(embedding_a, embedding_b, temperature=0.5): """ Computes the InfoNCE loss between two sets of embeddings. Args: embedding_a (torch.Tensor): First set of embeddings with shape (batch_size, dim). embedding_b (torch.Tensor): Second set of embeddings with shape (batch_size, dim). temperature (float): Temperature parameter for contrastive loss. Returns: torch.Tensor: Scalar value representing the mean InfoNCE loss over batch. """ # Normalize embeddings along dimension 1 (feature space normalization) embedding_a_norm = F.normalize(embedding_a, dim=1) embedding_b_norm = F.normalize(embedding_b, dim=1) # Compute similarity matrix using cosine similarity sim_matrix = torch.matmul(embedding_a_norm, embedding_b_norm.T) / temperature # Construct positive pairs' indices n = embedding_a.size(0) labels = torch.arange(n).to(sim_matrix.device) # Calculate cross-entropy loss treating each row as logits loss = F.cross_entropy(sim_matrix, labels) return loss ``` 上述代码实现了 InfoNCE 损失的核心逻辑，具体解释如下： - 使用 `F.normalize` 对输入特征进行 L2 归一化处理以计算标准化后的余弦相似度矩阵[^5]。 - 构造了一个对角线上的正样本索引作为目标标签，并利用交叉熵损失函数完成优化过程[^6]。 #### 转移学习中的应用 当结合转移学习时，可以通过预训练好的网络提取高级语义特征再送入对比学习框架中进一步微调权重参数从而提升目标任务性能表现[^7]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值