Label Smoothing --- 防止过拟合

LabelSmoothing是一种正则化方法,通过平滑标签减少模型过拟合风险,提高泛化能力。在分类任务中,它通过为非目标类引入小概率,使模型在训练时考虑所有类别,避免过分自信于单一标签。此方法通过调整交叉熵损失函数,对真实标签赋予(1-ε)的概率,其余标签分配ε/(类别数)的概率。

Label Smoothing 是一种正则化的方法,对标签平滑化处理以防止过拟合

在分类模型当中,经常对标签使用one-hot的形式,然后去预测样本属于每一个标签的概率,如果不考虑多标签的情况下,选择概率最大的作为我们的预测标签。

然而在实际过程中,这样对标签编码可能存在两个问题:
(1)可能导致过拟合;
(2)模型对于预测过于自信,以至于忽略到可能的小样本标签。

交叉熵损失函数的实际是在最小化预测概率与真实标签概率的交叉熵:
L = − ∑ i y i l o g p i L=-\sum_i y_ilogp_i L=iyilogpi
而我们真正在计算交叉熵损失函数的时候,对于真实标签概率的取值要么是1,要么是0,表征我们已知样本属于某一类别的概率是为1的确定事件,属于其他类别的概率则均为0, 所以总是选择与标签等的log概率损失值作为计算损失函数的值,如:假设存在标签[0, 1, 2]
y = 0 , L = − l o g p 0 ; y = 1 , L = − l o g p 1 , y = 2 , L = − l o g p 2 y=0, L=-logp_0 ;y=1, L=-logp_1, y=2, L=-logp_2 y=0,L=logp0;y=1,L=lo

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值