Core-tuning论文阅读笔记_mean=[0.507, 0.487, 0.441] 和 std=[0.267, 0.256, 0.-优快云博客

论文地址（2021年10月14日更新的v2版本）：论文地址

Yifan Zhang, Bryan Hooi, Dapeng Hu, Jian Liang, Jiashi Feng. Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning. Arxiv,2021.

1 研究背景

考虑到在预训练过程中优化无监督对比损失能够生成具有实例判别能力的模型，而现有微调过程主要采用交叉熵损失，其存在以下问题：交叉熵损失通常导致训练数据附近出现尖锐的决策边界，在与训练数据不同的测试数据集中泛化能力有限，因此如何提高模型的泛化能力？

作者探究了将对比损失应用于微调过程的有效性，发现直接添加对比损失到微调过程中，存在以下问题：大多数样本特征易于对比，仅导致微小的梯度损失，对学习更多的判别特征没有帮助，因此如何挖掘困难样本对以促进学习？

为此，作者提出了一种基于特征混合策略生成困难样本对的对比正则化微调方法——Core-tuning。

2 研究目标

在对比自监督视觉模型的微调阶段中，作者通过特征混合策略生成困难样本对，设计了基于混合特征的交叉熵损失 $L_{ce}^{m}$ 和焦点对比损失 $L_{con}^{f}$ ，探究上述方法对于表征学习、分类器训练和模型泛化的影响。

3 论文结论

验证了微调过程中采用对比损失，有助于对特征空间正则化，使特征空间具有更强的区分性，有利于模型微调过程的优化；
提出了一种在微调阶段下的对比正则化微调方法，能有效提高模型在下游任务（如图像分类、语义分割、领域泛化等）上的性能。

4 主要方法

实验证明该方法对于如图像分类、语义分割、领域泛化、对抗鲁棒性等下游任务是有效的。

论文补充材料图3 领域泛化下游任务的Core-tuning方法总体流程。可以看到，在微调过程中，对比特征提取层和分类预测层都需要对混合特征进行训练。

4.1 论文核心方法

基于特征混合策略生成困难样本对为数据集的每个类别生成准确的困难正 / 负样本对，总的损失函数结合了对比损失和交叉熵损失（设计了一种新颖的基于混合特征的焦点对比损失 $L_{con}^{f}$ 和基于混合特征的交叉熵损失 $L_{ce}^{m}$
训练的整体目标：最小化混合特征交叉熵损失 $L_{ce}^{m}$ 和焦点对比损失 $L_{con}^{f}$ ，即 $min\left (L_{ce}^{m}+\eta L_{con}^{f} \right )$ ，其中 $\eta$ 为损失权衡因子。
- 基于混合特征的交叉熵损失 $L_{ce}^{m}$ ：在分类预测层中，使用包含了原样本对及生成的困难正 / 负样本对集合（因生成了困难正 / 负样本对，批量大小为原批量大小的三倍）中的混合特征进行训练，从而学习更平滑的决策边界；
- 焦点对比损失 $L_{con}^{f}$ ：由于困难样本对对于对比学习的效用更大，对 $L_{con}$ 对比损失进行改造，设计一种提升困难样本对权重的损失函数，详细请见【4.3 如何生成困难正 / 负样本对？】；
- 对比损失 $L_{con}$ ：等价于最小化类条件交叉熵 $H\left ( Y;\hat{Y}|Z \right )$ 和最大化特征熵 $H\left (Y \right )$ ，即 $L_{con}\propto infH\left ( Y;\hat{Y}|Z \right )-H\left (Y \right )$ ，其中最小化类条件交叉熵能够学习每个类的低熵特征聚类，最大化特征熵能够学习高熵特征空间，为特征空间提供了一个额外的正则化优化效果。