SupConLoss&(CE/NCE/info NCE)

参考

从自监督到全监督！Google 提出新损失函数SupCon，准确率提升2%！-优快云博客

背景

Google NeurIPS 2020

原理

损失公式如下，同一类为p，不同类为α，这样可以最大化负样本，最小化正样本。

源码

项目地址：https://github.com/HobbitLong/SupContrast/tree/master

修改的易于理解的supconloss的实现脚本，可以运行一下，看着各个变量能加深理解。这里的相似度度量用的是特征的直接相乘，且锚样本的负样本用的是除自身外的负样本，做Re-ID任务注意甄别。 

import torch
import torch