InfoNCE loss与交叉熵损失的联系，以及温度系数的作用

转载已于 2024-02-27 23:17:30 修改 · 9.2k 阅读

60 ·

CC 4.0 BY-SA版权

原文链接：https://zhuanlan.zhihu.com/p/506544456

文章标签：

#机器学习 #深度学习 #人工智能

于 2022-05-15 13:19:46 首次发布

机器学习专栏收录该内容

74 篇文章

订阅专栏

本文探讨对比学习中的核心问题，包括InfoNCE损失函数与交叉熵损失之间的联系，以及InfoNCE损失中的温度系数作用和设置对效果的影响。通过分析MoCo和CLIP的损失函数实现，揭示了温度系数如何调节模型的决策边界，进而影响学习效果。这些问题对于理解对比学习项目至关重要，适合作为面试考点。

在文章《对比学习（Contrastive Learning），必知必会》和《CIKM2021 当推荐系统遇上对比学习，谷歌SSL算法精读》中，我们都提到过两个思考：

（1）对比学习常用的损失函数InfoNCE loss和cross entropy loss是否有联系？

（2）对比损失InfoNCE loss中有一个温度系数，其作用是什么？温度系数的设置对效果如何产生影响？

个人认为，这两个问题可以作为对比学习相关项目面试的考点，本文我们就一起盘一盘这两个问题。

上述公式细节详见：NCE loss

另外，我们看下图中MoCo的伪代码，MoCo这个loss的实现就是基于cross entropy loss。

最后再写一个CLIP的对比学习计算loss的过程：

import torch
import torch.nn as nn

img_feat = image_encoder(image)  # (batch_size, di)
text_feat = text_encoder(text)   # (batch_size, dt)

batch_size,di = img_feat.shape
tau = 2
ce = nn.CrossEntropyLoss()
target = torch.arange(batch_size)

loss_i2t = ce(img_feat @ text_feat.T / tau, target)
loss_t2i = ce(text_feat @ img_feat.T / tau, target)

loss = loss_i2t + loss_t2i