论文题目:When Does Labels Smoothing Help?(2019谷歌大脑)
一、标签平滑
1. 什么是标签平滑
标签平滑(Label Smoothing)是一种正则化方法,常常用于分类问题。
2. 作用
标签平滑能够防止模型在训练过程中过于相信真实标签,从而提高模型在未知数据上的泛化能力。
举个栗子: 在二分类任务中,对猫和狗的图像进行分类。如果预测一只狗的照片,那么真实标签中:1代表狗,0代表猫。那么在训练CNN时,模型预测值会尽量往1和0两个方向移动。这就使得模型对所要预测的图像过于自信,降低了模型的泛化能力。同时,数据集中通常会包含错误标签的数据。这就意味着,模型应该对正确的标签持 ”怀疑态度“。因此,对于1的标签,可以设置为1 - smoothing(平滑系数),例如0.9。此时,意味着对于所要预测的图像,有0.9的概率是狗,0.1的概率是猫。
二、主要工作
平滑标签能够防止神经网络变得过于自信,标签平滑技术被很多先进的网络所使用。
(1)对标签平滑如何提高网络的泛化能力进行了可视化论证
(2)标签平滑具有隐式的网络校正功能
(3)在知识蒸馏的情况下,不使用标签平滑
二、可视化
在论文中,非常直观地展示了标签平滑对神经网络分类任务的影响。作者在常见分类数据集上进行了实验,如下图所示。
通过观察实验结果,可以看到的是:标签平滑强制对分类结果进行更紧密的分组,同时强制在聚类之间进行更等距的间隔。
总结: 标签平