Supervised Contrastive Learning浅读

目录

前言

1.方法介绍以及结构

2.思路的实现

2.1自监督对比学习

2.2有监督对比学习

3.结果

---

前言

本文是根据观看了知名油管up主，对Supervised Contrastive Learning这篇文论文的解读写了一点自己的理解，初次接触，理解甚浅。

在文章中作者提出了一种新的监督训练的loss, 这种loss 是基于contrast loss的优化目标，与之前的监督学习不同，它是每个锚点取多个正例， 目的是使相同label 的normalized embedding 尽可能接近，不同label的尽可能远。最终结果证明，新的loss要比cross entropy训练更加稳定， 并且在分类任务的结果要好些。

1.方法介绍以及结构

论文通过对普通的监督学习，自监督对比学习，以及文章中提出来的有监督对比学习作比较。

（a）代表传统的交叉熵loss 主要是在最后一层通过softmax 结果和 label 来训练模型。
（b）代表自监督的contrastive loss, 通过数据增强方法来构建正负例样本， 进而优化模型。
（c）第一阶段，利用label 来做contrast loss. 第二阶段，冻住学到的特征，然后通过一个全连接层做softmax loss.

contrastive loss