在文章《对比学习(Contrastive Learning),必知必会》和《CIKM2021 当推荐系统遇上对比学习,谷歌SSL算法精读》中,我们都提到过两个思考:
(1)对比学习常用的损失函数InfoNCE loss和cross entropy loss是否有联系?
(2)对比损失InfoNCE loss中有一个温度系数,其作用是什么?温度系数的设置对效果如何产生影响?
个人认为,这两个问题可以作为对比学习相关项目面试的考点,本文我们就一起盘一盘这两个问题。
上述公式细节详见:NCE loss
另外,我们看下图中MoCo的伪代码,MoCo这个loss的实现就是基于cross entropy loss。
最后再写一个CLIP的对比学习计算loss的过程:
import torch
import torch.nn as nn
img_feat = image_encoder(image) # (batch_size, di)
text_feat = text_encoder(text) # (batch_size, dt)
batch_size,di = img_feat.shape
tau = 2
ce = nn.CrossEntropyLoss()
target = torch.arange(batch_size)
loss_i2t = ce(img_feat @ text_feat.T / tau, target)
loss_t2i = ce(text_feat @ img_feat.T / tau, target)
loss = loss_i2t + loss_t2i