InfoNCE loss与交叉熵损失的联系,以及温度系数的作用

本文探讨对比学习中的核心问题,包括InfoNCE损失函数与交叉熵损失之间的联系,以及InfoNCE损失中的温度系数作用和设置对效果的影响。通过分析MoCo和CLIP的损失函数实现,揭示了温度系数如何调节模型的决策边界,进而影响学习效果。这些问题对于理解对比学习项目至关重要,适合作为面试考点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在文章《对比学习(Contrastive Learning),必知必会》《CIKM2021 当推荐系统遇上对比学习,谷歌SSL算法精读》中,我们都提到过两个思考:

(1)对比学习常用的损失函数InfoNCE loss和cross entropy loss是否有联系?

(2)对比损失InfoNCE loss中有一个温度系数,其作用是什么?温度系数的设置对效果如何产生影响?

个人认为,这两个问题可以作为对比学习相关项目面试的考点,本文我们就一起盘一盘这两个问题。

上述公式细节详见:NCE loss 

另外,我们看下图中MoCo的伪代码,MoCo这个loss的实现就是基于cross entropy loss。


  最后再写一个CLIP的对比学习计算loss的过程:

import torch
import torch.nn as nn

img_feat = image_encoder(image)  # (batch_size, di)
text_feat = text_encoder(text)   # (batch_size, dt)

batch_size,di = img_feat.shape
tau = 2
ce = nn.CrossEntropyLoss()
target = torch.arange(batch_size)

loss_i2t = ce(img_feat @ text_feat.T / tau, target)
loss_t2i = ce(text_feat @ img_feat.T / tau, target)

loss = loss_i2t + loss_t2i

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值