InfoNCE loss与交叉熵损失的联系，以及温度系数的作用

在文章《对比学习（Contrastive Learning），必知必会》和《CIKM2021 当推荐系统遇上对比学习，谷歌SSL算法精读》中，我们都提到过两个思考：

（1）对比学习常用的损失函数InfoNCE loss和cross entropy loss是否有联系？

（2）对比损失InfoNCE loss中有一个温度系数，其作用是什么？温度系数的设置对效果如何产生影响？

个人认为，这两个问题可以作为对比学习相关项目面试的考点，本文我们就一起盘一盘这两个问题。

上述公式细节详见：NCE loss 

另外，我们看下图中MoCo的伪代码，MoCo这个loss的实现就是基于cross entropy loss。

  最后再写一个CLIP的对比学习计算loss的过程：

import torch
import torch.nn as nn

img_feat = image_encoder(image)  # (batch_size, di)
text_feat = text_encoder(text)   # (batch_size, dt)

batch_size,di = img_feat.shape
tau = 2
ce = nn.CrossEntropyLoss()
target = torch.arange(batch_size)

loss_i2t = ce(img_feat @ text_feat.T / tau, target)
loss_t2i = ce(text_feat @ img_feat.T / tau, target)

loss = loss_i2t + loss_t2i