The smart is sexy

1.交叉熵loss和对比loss区别交叉熵 loss 是 最后结果过一层 fc 然后进行 softmax 。 然后 fc 的系数 W 就是特征的模板（模板的意思是把一些特征用这个Wc参数转换后，就能判断它是否是c类，相当于这个Wc就是c类的模板）非参数样本分类 loss : 这里所谓非参数样本分类，则是将每个计算出的样本特征作为模板对比 loss2.Triplet Loss 和 对比loss 区别：Triplet Loss 负样本只有一对 对比 loss 负样本有很多对...

对比学习是自监督的一种，现在很火。自监督属于无监督的一种，即没有标记数据，相当于 cluster 聚类来判断物体类别（所以在label少的时候，unsupervised learning可以帮助我们学到data本身的high-level information，这些information能够对downstream task有很大的帮助。）理解对比学习，首先需要理解 互信息 ，因为只有知道了，我们需要加大什么互信息，才能更好的设计正负样本，从而利用对比学习来设计任务提高。互信息 [苏神]好特征的基