Label Smoothing 是一种正则化的方法,对标签平滑化处理以防止过拟合
在分类模型当中,经常对标签使用one-hot的形式,然后去预测样本属于每一个标签的概率,如果不考虑多标签的情况下,选择概率最大的作为我们的预测标签。
然而在实际过程中,这样对标签编码可能存在两个问题:
(1)可能导致过拟合;
(2)模型对于预测过于自信,以至于忽略到可能的小样本标签。
交叉熵损失函数的实际是在最小化预测概率与真实标签概率的交叉熵:
L = − ∑ i y i l o g p i L=-\sum_i y_ilogp_i L=−i∑yilogpi
而我们真正在计算交叉熵损失函数的时候,对于真实标签概率的取值要么是1,要么是0,表征我们已知样本属于某一类别的概率是为1的确定事件,属于其他类别的概率则均为0, 所以总是选择与标签等的log概率损失值作为计算损失函数的值,如:假设存在标签[0, 1, 2]
y = 0 , L = − l o g p 0 ; y = 1 , L = − l o g p 1 , y = 2 , L = − l o g p 2 y=0, L=-logp_0 ;y=1, L=-logp_1, y=2, L=-logp_2 y=0,L=−logp0;y=1,L=−lo