LabelSmoothing是一种正则化方法，通过平滑标签减少模型过拟合风险，提高泛化能力。在分类任务中，它通过为非目标类引入小概率，使模型在训练时考虑所有类别，避免过分自信于单一标签。此方法通过调整交叉熵损失函数，对真实标签赋予(1-ε)的概率，其余标签分配ε/(类别数)的概率。
Label Smoothing 是一种正则化的方法，对标签平滑化处理以防止过拟合
在分类模型当中，经常对标签使用one-hot的形式，然后去预测样本属于每一个标签的概率，如果不考虑多标签的情况下，选择概率最大的作为我们的预测标签。
然而在实际过程中，这样对标签编码可能存在两个问题：
（1）可能导致过拟合；
（2）模型对于预测过于自信，以至于忽略到可能的小样本标签。
交叉熵损失函数的实际是在最小化预测概率与真实标签概率的交叉熵：
L = − ∑ i y i l o g p i L=-\sum_i y_ilogp_i L=−i∑yilogpi
而我们真正在计算交叉熵损失函数的时候，对于真实标签概率的取值要么是1，要么是0，表征我们已知样本属于某一类别的概率是为1的确定事件，属于其他类别的概率则均为0, 所以总是选择与标签等的log概率损失值作为计算损失函数的值，如：假设存在标签[0, 1, 2]
y = 0 , L = − l o g p 0 ; y = 1 , L = − l o g p 1 , y = 2 , L = − l o g p 2 y=0, L=-logp_0 ;y=1, L=-logp_1, y=2, L=-logp_2 y=0,L=−logp0;y=1,L=−lo
最低0.47元/天 解锁文章
扫一扫
531
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
